JP6933059B2 - 撮影装置、情報処理システム、プログラム、画像処理方法 - Google Patents

撮影装置、情報処理システム、プログラム、画像処理方法 Download PDF

Info

Publication number
JP6933059B2
JP6933059B2 JP2017166054A JP2017166054A JP6933059B2 JP 6933059 B2 JP6933059 B2 JP 6933059B2 JP 2017166054 A JP2017166054 A JP 2017166054A JP 2017166054 A JP2017166054 A JP 2017166054A JP 6933059 B2 JP6933059 B2 JP 6933059B2
Authority
JP
Japan
Prior art keywords
exposure amount
exposure
partial image
image
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017166054A
Other languages
English (en)
Other versions
JP2019047213A (ja
JP2019047213A5 (ja
Inventor
泰宏 風間
泰宏 風間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017166054A priority Critical patent/JP6933059B2/ja
Priority to US16/103,364 priority patent/US10609302B2/en
Publication of JP2019047213A publication Critical patent/JP2019047213A/ja
Priority to US16/801,158 priority patent/US11258960B2/en
Publication of JP2019047213A5 publication Critical patent/JP2019047213A5/ja
Application granted granted Critical
Publication of JP6933059B2 publication Critical patent/JP6933059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Description

本発明は、撮影装置、情報処理システム、プログラム、及び画像処理方法に関する。
魚眼レンズや超広角レンズなどの広角レンズを複数使用して３６０度の全方位（以下、全天球という。）を１回の撮影操作で撮影する全天球撮影装置が知られている。全天球撮影装置は、各々のレンズを通過した光をセンサに結象させ、得られた各部分画像を画像処理によって結合することで全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角レンズを用いて、全天球画像を生成することができる。
上記の画像処理では、各広角レンズにより撮影された２つの部分画像に対して、所定の射影方式に基づいて射影変換が施される。広角レンズを通過した画像は歪んでいるので、射影変換の際、この歪みを考慮して歪曲補正が施される。そして、部分画像に含まれる重複領域を用いて２つの部分画像を繋ぎ合わせ、１枚の全天球画像を生成する画像処理が行われている。
部分画像の撮影の際、より広い領域を適切な明るさで撮影するため、それぞれのカメラが独自に露出を制御する。このため、それぞれの部分画像に露出の違いが生じ、繋ぎ目が目立つ場合があり、この繋ぎ目を目立たせなくする露出差補正技術が知られている（例えば、特許文献１参照。）。特許文献１には、複数の部分画像のうち最大の測光値となるものを基準として、他の部分画像に対して中央部から周辺にかけてゲイン倍率を上げることによって露出差を補正する撮影装置が開示されている。
しかしなら、従来の露出差補正技術により得られた画像は輝度が急激に変化する場合があり、見た目の違和感が強い画像になりやすいという問題があった。すなわち、従来の露出差補正技術では、露出が低い部分画像のみに対して中央部から周辺部の方向に徐々に明るくなる輝度補正を施して露出差補正しているため、露出が低い部分画像の中央部から周辺という狭い範囲で輝度が急変する。また、露出が低い部分画像の周辺部では当初の目標露出（撮影露出）から大きく離れた輝度になってしまうため、露出オーバーな印象の強い画像になりがちである。これらの結果、輝度が低い方の部分画像は中央部から周辺部にかけて輝度が急激に変化して違和感を感じさせる場合があった。
本発明は、上記課題に鑑み、違和感の少ない露出差補正が可能な撮影装置を提供することを目的とする。
本発明は、複数の部分画像を繋ぎ合わせて、一つの画像を形成し出力する撮影装置であって、第一の部分画像を撮影する第一の撮影素子と、第二の部分画像を撮影する第二の撮影素子と、前記第一の撮影素子の目標露出量である第一の露出量を決定する第一の露出量算出手段と、前記第二の撮影素子の目標露出量である第二の露出量を決定する第二の露出量算出手段と、前記第一の露出量と前記第二の露出量のうち大きい方の露出量を小さくした第三の露出量を決定する第三の露出量決定手段と、前記第一の露出量と前記第二の露出量に基づいて、前記第一の部分画像を補正する第一の補正ゲインと、前記第二の部分画像を補正する第二の補正ゲインと、を算出する補正ゲイン算出手段と、前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子について、該撮影素子の目標露出量を撮影時の露出量として撮影を行い、前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子について、前記第三の露出量を撮影時の露出量として撮影を行う撮影処理手段と、前記第一の補正ゲインで前記第一の部分画像を補正し、前記第二の補正ゲインで前記第二の部分画像を補正する画像補正手段と、を有する。
違和感の少ない露出差補正が可能な撮影装置を提供することができる。
露出差補正技術を模式的に説明する図の一例である。 従来の露出差補正技術の不都合を説明する図の一例である。 本実施形態の露出差補正技術の概要を説明する図の一例である。 全天球撮影装置を示す断面図の一例である。 全天球撮影装置のハードウェア構成図の一例である。 全天球撮影装置における画像処理全体の流れを説明する図である。 全天球撮影装置における画像処理全体の流れを説明する図である。 本実施形態における撮影装置の特徴的な機能をブロック状に示す機能ブロック図の一例である。 全天球撮影装置のモニタリング時における一連のＡＥ処理のフローを示したものである。 画像の分割例を示す図である。 ＡＥテーブルの一例を示す図である。 ＥＶ線図の一例を示す図である。 全天球撮影装置のスチル時における一連のＡＥ処理のフローチャート図の一例である。 目標露出EvTargetＡとEvTargetＢ、撮影露出EvCaptureＡとEvCaptureＢを模式的に示す図である。 露出差補正ゲインcorrGainＡ、corrGainＢの算出方法を説明する図の一例である。 露出差補正ゲインcorrGainＡ、corrGainＢの変形例を説明する図である。 撮影装置のスチル時における一連のＡＥ処理のフローチャート図の一例である（実施例２）。 露出差補正ゲインcorrGainＡ、corrGainＢの算出方法を説明する図の一例である。 露出差補正ゲインcorrGainＡ、corrGainＢの変形例を説明する図である（実施例２）。 輝度差のある被写体に対する従来の補正方法と本実施形態の補正方法を説明する図の一例である。
以下、本発明を実施するための形態の一例として、全天球撮影装置及び全天球撮影装置が行う画像処理方法について図面を参照しながら説明する。
＜従来の露出差補正技術の一例に基づく不都合について＞
まず、本実施形態の露出差補正技術を説明するにあたり、従来の露出差補正技術の一例とその不都合について補足する。
図１は、露出差補正技術の一例を模式的に説明する図である。全天球撮影装置１０は２つの撮影光学系を有しており、２つの部分画像０，１が得られる。一方の撮影光学系の撮影範囲には人物４１２が存在し、他方の撮影光学系の撮影範囲には太陽４１３が存在している。ここでは説明の便宜上、一方の撮影光学系をセンサＡ、他方の撮影光学系をセンサＢと称する。また、図１では説明を分かりやすくするため、歪みがない状態の人物と太陽を示しているが、部分画像には投影方式に基づく歪みが含まれている。
センサＡが撮影する部分画像０とセンサＢが撮影する部分画像１を全天球撮影装置が繋ぎ合わせる。詳細には、傾き補正及び歪曲補正を行ってから２つの画像を合成して合成画像４１１を作成する。この合成を「繋ぎ合わせ」と称する場合があり、２つの部分画像０，１の露出差は繋ぎ合わせの前に補正される。
図２を用いて従来の露出差補正について説明する。図２は従来の露出差補正技術の不都合を説明する図の一例である。図２では、センサＡの撮影露出よりセンサＢの撮影露出の方が大きい。図２では、説明のため、輝度が完全に一様な被写体に対して露出差を付けて撮影して得られたと仮定した場合のＲＡＷ出力値を画像出力とする。図２のＡＡ´線断面図が画像出力になる。
このような露出差がある場合、センサＡの部分画像０にプラスのゲインをかけること又はセンサＢの部分画像１にマイナスのゲインをかけることが考えられる。しかし、後述するようにマイナスのゲインをかけることは好ましくない。
マイナスゲインの使用を回避するために、従来の露出差補正技術では、暗い露出で撮影されたセンサＡの部分画像０のみを明るくするプラスのゲインをかけるという方法が採用されている。ゲインをかけるとは、撮影された画像に対し画像処理により輝度を変更することをいう。
図２では点線で示される露出差補正ゲインcorrGainが部分画像０にかけられるゲインである。図示するように円形の部分画像０の中心ではゼロで半径方向に徐々に大きくなり周辺部で部分画像１の撮影露出になるゲインがかけられる。従って、図２の露出差補正ゲインcorrGainは円錐が逆さになった形状である。
しかし、この露出差補正では、部分画像０の範囲の中で大きな露出差を補正する必要があるため、部分画像０の中央部から周辺部にかけて輝度が急激に変化し見た目に違和感が強い画像になりやすいという欠点がある。また、部分画像０の周辺部では当初の目標露出（撮影露出）から大きく離れた輝度になってしまうため、露出オーバーな印象の強い画像になりがちであるという欠点がある。
＜用語について＞
複数の部分画像を繋ぎ合わせるとは、複数の部分画像を一つにすること、又は、複数の部分画像から１つの画像を形成することをいう。
ゲインとは電気回路における入力と出力の比をいうが、転じて信号を増大又は減少させる係数をいう。増大させるゲインをプラスのゲインといい、減少させるゲインをマイナスのゲインという。また、増大分又は減少分そのものを表してもよい。
補正ゲインで部分画像を補正するとは、ゲインを部分画像の画素値に乗じることをいう。また、ゲインを画素値に加算又は減算してもよい。
＜本実施形態の露出差補正技術の概要＞
そこで、本実施形態の全天球撮影装置１０は、以下のように違和感の少ない画像が得られる露出差補正を行う。
図３は、本実施形態の露出差補正技術の概要を説明する図の一例である。
（１）まず、センサＢは目標露出よりも低い露出を撮影露出として撮影する。これにより、部分画像０と部分画像１の露出差を低減できる。
（２）そして、全天球撮影装置１０はセンサＡの中央部からセンサＢの中央部にかけて徐々に大きくなる露出差補正ゲインで部分画像０と部分画像１を補正する。図３のＡＡ´線断面図を画像出力とする。すなわち、部分画像０だけでなく、あえて暗く撮影した部分画像１についてもより明るくなるように露出を補正する。
このような補正によれば、部分画像０と部分画像１との境界部では、部分画像０の周辺部に露出差補正ゲインがかかり、部分画像１の周辺部には露出差補正ゲインがかからないため、輝度が一致する。また、部分画像０の中央部から周辺にかけての輝度の変化量が従来よりも小さくなるため、違和感を感じにくい画像になる。また、部分画像０の周辺部では当初の目標露出（撮影露出）とそれほど相違がないので、露出オーバーな印象を与えにくい。
また、部分画像１の中央部には露出差補正ゲインがかかり、当初の目標露出と輝度が一致するため、部分画像１の輝度が足りないような印象を与えることが少ない。
＜構成例＞
以下、図４及び図５を参照しながら、本実施例による全天球撮影装置１０の全体構成について説明する。図４は、本実施例による全天球撮影装置１０を示す断面図である。図４に示す全天球撮影装置は、撮影体１２と、撮影体１２及びコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッターボタン１８とを備えている。
図４に示す撮影体１２は、２つのレンズ光学系２０Ａ，２０Ｂ（レンズ光学系２０ともいう）と、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮影素子２２Ａ，２２Ｂ（固体撮影素子２２ともいう）とを含む。本実施例において、レンズ光学系２０と固体撮影素子２２とを１個ずつ組み合わせたものを撮影光学系と称する。レンズ光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図４に示す例では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。
２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、その光軸が、対応する固体撮影素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、固体撮影素子２２Ａ，２２Ｂに対して位置関係が定められている。固体撮影素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮影素子であり、組み合わせられるレンズ光学系２０により集光された光を画像信号に変換する。
図４に示す実施例では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。固体撮影素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ上の画像処理手段に出力する。画像処理手段では、固体撮影素子２２Ａ，２２Ｂからそれぞれ入力される撮影画像を繋ぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と称する）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図４に示す実施例では、全天球画像を生成しているが、他の実施例では、水平面のみ３６０度（あるいは１８０度程度）を撮影した、いわゆるパノラマ画像であっても良い。
上記したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮影光学系で撮影した撮影画像において、重複する画像部分が、同一像を表す基準データとして画像の繋ぎ合わせの参考とされる。生成された全天球画像は、例えば、撮影体１２に備えられているか、又は撮影体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。
図５は、本実施例による全天球撮影装置のハードウェア構成を示している。全天球撮影装置は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと称する）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成されている。鏡胴ユニット１０２は、上記した２組のレンズ光学系２０Ａ，２０Ｂと、固体撮影素子２２Ａ，２２Ｂを有している。固体撮影素子２２は、プロセッサ１００内のＣＰＵ１３０からの制御指令により制御される。ＣＰＵ１３０の詳細については後述する。
プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２とを含む。更にプロセッサ１００は、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８と、顔検出ブロック２０１とを含んでいる。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮影素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、ホワイトバランス設定やガンマ設定を行う。
ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続されている。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂ及び歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮影光学系から得られた２つの撮影画像に対し、３軸加速度センサ１２０からの情報を利用して天地補正（傾き補正）を施し、歪み補正を行い、２つの部分画像を合成する。なお、顔検出ブロック２０１は、傾き補正された画像を用いて、顔検出を行い、顔の位置を特定する。
プロセッサ１００は、更に、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。
ＣＰＵ１３０は、当該全天球撮影装置１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大又は縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮及び伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４などの動画圧縮及び伸張を行うコーデック・ブロックである。また、プロセッサ１００には、パワーコントローラ２０２が設けられている。
画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。
メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカード及びフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、全天球撮影装置１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。
音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。
フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御する。また同時に、制御に必要なデータをＳＤＲＡＭ１３８と、ローカルＳＲＡＭとに一時的に保存する。
なお、書き換え可能なフラッシュＲＯＭ１４４を使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことができる。
＜画像処理全体の流れ＞
図６Ａ及び図６Ｂは、本実施例による全天球撮影装置１０における画像処理全体の流れを説明する図であり、撮影条件を制御するための主要な機能ブロックが示されている。先ず、図６Ａに示すように、センサＡ（固体撮影素子２２Ａ）、センサＢ（固体撮影素子２２Ｂ）の各々によって、所定の露出条件パラメータのもとで画像が撮影される。続いて、センサＡ，Ｂの各々から出力された部分画像に対し、図５に示したＩＳＰ１０８（１０８Ａ，１０８Ｂ）により、ＩＳＰ１-Ａ及びＩＳＰ１-Ｂの処理が行われる。ＩＳＰ１-Ａ及びＩＳＰ１-Ｂの処理として、オプティカル・ブラック（ＯＢ）補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理及び領域分割平均処理が実行され、その結果はメモリに保存される。
オプティカル・ブラック(ＯＢ)補正処理は、センサＡ，Ｂにおけるオプティカル・ブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。ＣＭＯＳなどの固体撮影素子は、半導体基板上に多数の感光素子を形成することにより製造されているが、その製造に際して半導体基板に不純物が混入する等の理由により、局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。欠陥画素補正処理は、上記のような欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する処理である。
リニア（Linear）補正処理は、ＲＧＢ毎にリニア補正を施す処理である。シェーディング（Shading）補正処理は、所定の補正係数を有効画素領域の出力信号に乗じることで、有効画素領域のシェーディング（陰影）の歪みを補正する処理である。領域分割平均処理は、撮影画像を構成する画像領域を複数領域に分割し、分割領域毎に輝度の積算値（又は積算平均値）を算出する処理を行う。この処理結果はＡＥ処理に使用される。
ＩＳＰ１-Ａ及びＩＳＰ１-Ｂの処理が完了すると、続いて、図６Ｂに示すように、ＩＳＰ１０８（１０８Ａ，１０８Ｂ）により、ＩＳＰ２-Ａ及びＩＳＰ２-Ｂの処理が行われる。ＩＳＰ２-Ａ及びＩＳＰ２-Ｂの処理として、ホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理及び色補正処理が実行され、その結果はメモリに保存される。
被写体からの光量を蓄積するセンサＡ，Ｂ上のフォトダイオードには１画素毎にＲ（赤）、Ｇ（緑）及びＢ（青）のいずれか１色のカラーフィルタが貼付されている。そして、フィルタの色によって透過する光量が変わってくるため、フォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧで、ＲとＢはＧと比較すると感度が低く、約半分程度である。ホワイトバランス（ＷＢ）処理では、これらの感度差を補い、撮影画像の中の白色を白く見せるために、ＲとＢにゲインを掛ける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更し、制御する機能を有している。なお、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値（又は積算平均値）データに基づき、ホワイトバランス処理のパラメータが計算される。
入力信号に対して出力信号は非線形な関係を有している。このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため人は正しく画像を見ることができない。そこで、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うのがガンマ（γ）補正処理である。
ＣＭＯＳではベイヤー配列と呼ばれる配列で、１画素にＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色の情報しかない。しかし、ＲＡＷデータから画像として見るためには、１画素にＲ、Ｇ、Ｂの３色の情報が必要であり、足りない２色を補うために周辺の画素から補間する処理がベイヤー補間処理である。デジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＵＶデータから画像が作成されるため、ＲＧＢデータをＹＵＶデータに変換する。
エッジ強調（ＹＣＦＬＴ）処理は、画像の輝度信号からエッジ部分を抽出し、エッジに対してゲインを掛け、エッジ抽出と並行して画像のノイズを除去する処理である。具体的には、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタと、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算部と、エッジ抽出と並行して画像のノイズを除去するＬＰＦ（ローパスフィルタ）と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算するデータ加算部とを含んでいる。
色補正処理では、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などが行われる。彩度設定は色の濃さを決定するパラメータ設定であり、ＵＶ色空間を示すものであるが、例えば、第２象限でＲの色に対して原点からＲのドットまでのベクトルの長さが長い程、色の濃さは濃くなる。
色補正処理されたデータは、メモリ（ＤＲＡＭ）に保存されるが、その保存されたデータに基づきクロップ処理が実行される。このクロップ処理は、画像の中心領域を切り抜くことで、サムネイル画像を生成するための処理である。
図６Ａ及び図６Ｂに基づいて、本実施例の撮影装置の作用について説明する。センサＡから出力されたベイヤーＲＡＷの画像に対して、ＩＳＰ１-Ａにおいて、オプティカル・ブラック(ＯＢ)補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理、領域分割平均処理を行う。その画像はＤＲＡＭに保存する。センサＢから出力されたベイヤーＲＡＷの画像に対しても同様に、ＩＳＰ１-Ｂにおいて、オプティカル・ブラック(ＯＢ)補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理、領域分割平均処理を行う。その画像はＤＲＡＭに保存する。
センサＡ，Ｂは独立な簡易ＡＥ処理機能を有し、センサＡ，Ｂの各々が単独で適正露出に設定できるようになっている。センサＡ，Ｂの各々の露出条件の変化が小さくなり安定した場合は、２つの画像の画像境界部分の明るさが合うように領域分割平均処理によって得られたエリア積算値を用いて各センサＡ，Ｂを適正露出に設定する。
ＩＳＰ１-Ａの処理が終了したセンサＡ側のデータに対しては、ＩＳＰ２-Ａ内のホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理及び色補正処理が実行される。実行後のデータはＤＲＡＭに保存される。同様に、ＩＳＰ１-Ｂの処理が終了したセンサＢ側のデータに対しては、ＩＳＰ２-Ｂ内のホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理及び色補正処理が実行される。実行後のデータはＤＲＡＭに保存される。
ＩＳＰ２-Ａ又はＩＳＰ２-Ｂの処理を終了したデータに対しては、センサＡ側もしくはセンサＢ側のそれぞれが正則画像に切り取られる処理（クロップ処理）が施され、その後、歪曲補正・合成処理される。歪曲補正・合成処理の過程で、３軸加速度センサからの情報を得て傾き補正（天地補正）が行われる。画像はＪＰＥＧ圧縮にて、約０.１６の圧縮係数で更にデータは圧縮される。
このデータはＤＲＡＭに保存され、ファイル保存（タグ付け）が行われる。更に、ＳＤＩＯ経由にて、データはＳＤカード等のメディアに保存される。スマートフォン（携帯端末等）に転送する際には、無線ＬＡＮ（Wi-Fi、Bluetooth（登録商標）等）を使用し、スマートフォン（携帯端末等）に転送を行う。
図６Ａ及び図６Ｂでの処理で取り扱うデータは、球状画像が矩形画像データで球状画像の一部分である。サムネイル画像等として表示することを目的としたものである。本実施例は、二枚以上の全天球画像を撮影可能な画像によって実現可能であるが、図６Ａ及び図６Ｂにおいては、具体例として、二枚の撮影素子を用いて画像合成を行う場合についてのフローを示している。
＜機能について＞
図７は、本実施形態における撮影装置の特徴的な機能をブロック状に示す機能ブロック図の一例である。撮影装置は、第一の露出量算出部３１、第二の露出量算出部３３、第三の露出量算出部３２、撮影処理部３４、補正ゲイン算出部３５、及び、補正部３６を有する。撮影装置が有するこれらの機能は、フラッシュＲＯＭ１４４に記憶された制御プログラムや各種パラメータをＣＰＵ１３０が実行し撮影装置の各構成要素を制御したり、ＩＳＰ１０８Ａ，１０８Ｂが画像処理を行ったりすることで実現される。すなわち、図７の各機能は、ソフトウェアにより実現される他、一又は複数の処理回路によって実現することが可能である。「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、本実施形態で説明する各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。
第一の露出量算出部３１は、センサＡから取得した信号により適切な露出量（後述するEvTarget１）を決定する。第二の露出量算出部３３は、センサＢから取得した信号により適切な露出量（後述するEvTarget２）を決定する。
第三の露出量算出部３２は、センサＡの露出量（第一の露出量）とセンサＢの露出量（第二の露出量）のうち大きい方の露出量を元の値より小さくして撮影露出量（EvCaptureＡ、EvCaptureＢ）を決定する。
補正ゲイン算出部３５は、センサＡの露出量とセンサＢの露出量に基づいて、センサＡが撮影した部分画像０の露出差補正ゲインcorrGainＡを算出し、センサＢが撮影した部分画像１の露出差補正ゲインcorrGainＢを算出する。
撮影処理部３４は、センサＡの露出量とセンサＢの露出量のうち小さい方のセンサＡ又はＢに当該センサの露出量で撮影させ、センサＡの露出量とセンサＢの露出量のうち大きい方のセンサＡ又はＢに撮影露出量（EvCaptureＡ、EvCaptureＢ）で撮影させる。
補正部３６は、露出差補正ゲインcorrGainＡで部分画像０を補正し、露出差補正ゲインcorrGainＢで部分画像１を補正する。
＜ＡＥ動作の手順＞
図８は、全天球撮影装置のモニタリング時における一連のＡＥ処理のフローを示したものである。モニタリングとはシャッターボタンが押下される前にＬＣＤモニタ１６４に映像を映し出す処理をいう。第一の露出量算出部３１と第二の露出量算出部３３は、先ず、センサＡ及びセンサＢに対して、ＴＶ（シャッタスピード）とＳＶ（感度）の初期値を設定する（ステップＳ１１）。設定する値は、センサＡ及びセンサＢにおいて共通とする。
そして、第一の露出量算出部３１と第二の露出量算出部３３は以下の（１）式にてＢＶ（被写体輝度データ）とＥＶ（露出量）を算出する。
ＡＶは絞り値を表しているが、本実施例では絞り機構はないため、ＡＶ値は固定となる。
ＢＶ＝ＥＶ＝ＴＶ＋ＡＶ−（ＳＶ−０ｘ５０） ・・・・・・（１）
ＴＶ、ＡＶ、ＳＶ、ＢＶ、ＥＶはＡｐｅｘ形式（１／４８step）の値で、演算に用いられる。Ａｐｅｘとは、Additive System of Photographic Exposureの略で写真撮影のための換算システム規格である。Ａｐｅｘシステムによれば、撮影に必要な要素（レンズ絞り、露出時間、撮影素子感度、被写体輝度）を同じ次元の単位として扱い、各要素の単純な加減算処理だけで最適値を割り出せる。
次に、第一の露出量算出部３１と第二の露出量算出部３３は、ＴＶ（シャッタスピード）とＳＶ（感度）が検波値に反映されているか否か判断し（ステップＳ１２）、反映されている場合は、センサＡとセンサＢのそれぞれのエリア積算値を取得する（ステップＳ１３）。なお、ステップＳ１２において、ＴＶ（シャッタスピード）とＳＶ（感度）が検波値に反映されていない場合は、ステップＳ１８に進む。検波値とは明るさの検出値であり、センサＡ，Ｂがもつ簡易ＡＥ処理機構で検出される光量である。
エリア積算値は、図９に示すように、画像のＲＡＷ−ＲＧＢデータから水平１６×垂直１６のブロック単位で等分割を行い、分割されたブロックの各々に対してＲＧＢ値を積算する。そして、ブロック単位でＲＧＢ値から以下の（２）式を用いてＹ値（輝度値）を求める。なお、本実施例では、エリア積算値として使用するのは、遮光されていない円形内側部分であり、これをＹ値としている。
輝度値＝Ｒ×０.２９９＋Ｇ×０.５８７＋Ｂ×０.１１４ ・・・・・・（２）
本実施例においては、ブロックの分割数を１６×１６＝２５６としたが、これに限定されるものではない。但し、ｎ個の分割ブロックとしたとき、ｎ≧４を満たすようにする。また、本実施例においては、等分割であったが、必ずしもこれに限定されるものではない。ただ、全ての分割ブロックが等面積かつ同形状に等分割されている方が好ましい。
ここで、エリア積算値について詳細に説明する。このエリア積算値の算出は、上記した分割ブロックの各々に対して行うものである。本実施例において、分割ブロックは、上記したように、撮影画像が等分割されたものなので、例えば、撮影画像が約１０００万画素を有していると、分割ブロックの各々は約３.９万画素を有する。この分割ブロックの各々が有する画素それぞれは、対応する被写体部分のＲ、Ｇ又はＢ成分の情報であり、本実施例では各成分は１２ｂｉｔの情報として記録・利用されている。すなわち、２５６個ある分割ブロックの各々において、各ブロックが有する画素の数（約１０００万画素÷２５６＝約３.９万画素）だけ１２ｂｉｔのＲ、Ｇ、Ｂ成分の情報がある。
エリア積算値は、この分割ブロックのそれぞれについて、各ブロックが有する画素全てのＲ成分、Ｇ成分、Ｂ成分それぞれについて加算平均して算出するものである。本実施例では、２５６個に分割した分割ブロックの各々において、Ｒ、Ｇ、Ｂ成分毎に１２ｂｉｔの情報として出力される。
なお、本実施例の場合、Ｒ、Ｇ、Ｂ各画素の比率は、Ｒ：Ｇ：Ｂ＝１：２：１となっており、分割ブロックの各々はＲ画素＝約０.９７５万画素、Ｇ画素＝約１.９５万画素、Ｂ画素＝０.９７５万画素から構成されている。
次に、第一の露出量算出部３１と第二の露出量算出部３３はエリア積算値を積算数で割った値であるＡＥ評価値を算出する（ステップＳ１４）。このＡＥ評価値は以降の露出演算に使用する。
第一の露出量算出部３１又は第二の露出量算出部３３はセンサＡとセンサＢのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥＶ１）を算出する（ステップＳ１５）。ＡＥテーブルは、図１０に示すように、ＡＥ評価値に対応する適正露出との差（デルタＥＶ）を表したものである。ＡＥ評価値が９２０の場合、適正露出から＋１ＥＶ明るいことになる。また、ＡＥ評価値が２３０の場合、適正露出から−１ＥＶ暗いことになる。各ポイントの間のＡＥ評価値（つまり、図１０に示されていないＡＥ評価値）に対しては、線形補間によってデルタＥＶを算出する。
そして、第一の露出量算出部３１は、センサＡのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥＶ２）を算出する。また、第二の露出量算出部３３は、一定の値以下になるセンサＢのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥＶ３）を算出する。なお、ＡＥ評価値に対応するデルタＥＶが＋３以上又は−３以下の場合、デルタＥＶは＋３又は−３でクリップされる。
次に、第一の露出量算出部３１と第二の露出量算出部３３は前回算出したＢＶにデルタＥＶ１を加算し被写体輝度データ１（ＢＶ１）を更新する（ステップＳ１６）。更に、ＢＶ１を基に露出量１（ＥＶ１）を算出するとともに、デルタＥＶが０になる場合、適正な露出（明るさ）であると判断し、デルタＥＶが０になるようなＥＶ１を算出する。
第一の露出量算出部３１と第二の露出量算出部３３は、算出したＥＶ１からＥＶ線図に従って、露光条件、すなわちＣＭＯＳのシャッタスピード（ＴＶ）及びＣＭＯＳの感度（ＳＶ（ゲイン値））を算出し、その算出したシャッタスピード、ＣＭＯＳの感度をセンサＡとセンサＢに設定する（ステップＳ１７）。
ＥＶ線図は、ＥＶ値に対応するシャッタスピード、感度の組み合わせの表であり、モニタリングとスチルで異なってもよい。図１１にＥＶ線図の一例を示す。
モニタリング時のＡＥ処理が終了か否かが判断され（ステップＳ１８）、終了でない場合は、ステップＳ１２に戻り、ステップＳ１７にて設定されたＴＶ（シャッタスピード）及びＳＶ（感度）が反映されたエリア積算値を、ステップＳ１３で取得する。ステップＳ１２〜Ｓ１８の処理は、モニタリング中に常時繰り返し実行される。
図１２は、本実施例による撮影装置のスチル時における一連のＡＥ処理のフローチャート図の一例である。先ず、第一の露出量算出部３１又は第二の露出量算出部３３は、スチル撮影直前のモニタリング時に算出したデルタＥＶ２とデルタＥＶ３の値が大きいほうのセンサのＥＶ値とＥＶ１を基にＥＶ２を算出する（ステップＳ３０１）。例えば、デルタＥＶ２＞デルタＥＶ３の場合、以下の（３）式によりデルタＥＶ２を設定する。
ＥＶ２＝ＥＶ１＋デルタＥＶ２ ・・・・・・（３）
ＥＶ１は暗い方のセンサの露出量でありこれを目標露出EvTargetＡとし、ＥＶ２は明るい方のセンサの露出量でありこれを目標露出EvTargetＢとする。これにより、高輝度側のセンサを適正露出に近づけることができる。
次に、第三の露出量算出部３２はEvTargetＡとEvTargetＢの差を計算し、これをEvDiffとする（ステップＳ３０２）。
第三の露出量算出部３２は、目標露出の差EvDiffが閾値以下であるか否かを判断する（ステップＳ３０３）。この閾値は、センサＡとセンサＢの露出差があまりに大きいと露出差補正処理を行っても部分画像０と部分画像１の輝度差が目立つため、センサＡとセンサＢの露出差を閾値以下に制限するための閾値である。この閾値は、許容しうる部分画像０と部分画像１の輝度差の最大値として予め決まっている。
目標露出の差EvDiffが閾値以下でない場合（ステップＳ３０３のＮｏ）、第三の露出量算出部３２はEvTargetＡとEvTargetＢの値を調整することで差が閾値以下になるようにEvTargetＡとEvTargetＢを算出する（ステップＳ３０４）。調整の方法として、EvTargetＡとEvTargetＢのうち、より目標露出が暗いほうのみを明るくなるようにシフトしてもよい。あるいは、より目標露出が暗いほうを２倍明るくなるようにシフトし、明るい方を１倍暗くなるようにシフトしてもよい。あるいは、差が閾値未満になるまでEvTargetＡとEvTargetＢをそれぞれ一定量ずつシフトさせ、差が閾値未満になった時のEvTargetＡとEvTargetＢを採用する方法がある。なお、EvDiffを閾値に設定しておく。
目標露出の差EvDiffが閾値以下の場合（ステップＳ３０３のＹｅｓ）、調整は行われない。
次に、第三の露出量算出部３２は調整した目標露出EvTargetＡとEvTargetＢのうち、より明るい方を判断する（ステップＳ３０５）。そして、センサＡ，センサＢの撮影露出EvCaptureＡ、EvCaptureＢを決定する。
EvCaptureＡ＜EvCaptureＢの場合、センサＡのＥＶの方が小さい（目標露出が高い）ので、第三の露出量算出部３２はセンサＢの撮影露出EvCaptureＢをEvTargetＢよりも小さい値に決定する（ステップＳ３０６）。センサＡの撮影露出EvCaptureＡはEvTargetＡのままでよい。例えば、当初の目標露出EvTargetＢとEvTargetＡの差の半分だけ小さくする。詳細は図１３にて説明する。この他、双方の測光値などを考慮して、飽和している画素が所定値より多いなど明るい場合には大きく落としたり（例えば、EvTargetＢの１／３にする）、平均の輝度が所定値より小さいなど暗い場合には少しだけ落としたりしてもよい（例えば、EvTargetＢの２／３にする）。
同様にEvTargetＡ≧EvTargetＢの場合、センサＢのＥＶの方が小さい（目標露出が高い）ので、第三の露出量算出部３２はセンサＡの撮影露出EvCaptureＡをEvTargetＡよりも小さい値に決定する（ステップＳ３０７）。センサＢの撮影露出EvCaptureＢはEvTargetＢのままでよい。
次に、第三の露出量算出部３２は大きい方の撮影露出EvCaptureに基づいてシャッタスピード１（ＴＶ１）、感度１（ＳＶ１）を算出する（ステップＳ３０８）。ここでは、EvCaptureＡ＜EvCaptureＢであるとして説明する。第三の露出量算出部３２はEvCaptureＢからＥＶ線図に従って、シャッタスピード１（ＴＶ１）、感度１（ＳＶ１）を算出する。
次に、第三の露出量算出部３２はEvCaptureＡとEvCaptureＢの差分をＳＶ１に加算することで、感度２（ＳＶ２）を算出する処理、すなわち、ゲイン補正を行う（ステップＳ３０９）。
次に、第三の露出量算出部３２は撮影露出が大きいセンサＢにＴＶ１とＳＶ１を設定し、撮影露出が小さいセンサＡにＴＶ１、ＳＶ２を設定する（ステップＳ３１０）。撮影処理部３４は、設定されたＴＶ１とＳＶ１で部分画像０を撮影し、ＴＶ１、ＳＶ２で部分画像１を撮影する。
ここまでの処理により部分画像０，１が撮影される。センサＡとセンサＢのシャッタスピードを同じにすることで、センサＡとセンサＢにまたがる動被写体に対しても良好に繋ぎ合わせることができる。また、このとき、両面のセンサの上下読み出し方向を同じにすることで、露光タイミングが一致し、更に良好な動被写体の繋ぎ合わせを行うことができる。また、固体撮影素子の走査方向を、互いに一致させることで、各々の撮影画像を繋ぎ合わせやすくすることができる。つまり、それぞれの固体撮影素子の走査方向と順序を、互いに繋ぎ合わせる部分で一致させることで、互いのカメラの境界にある物体、特に、移動物体の繋ぎ合わせに効果が得られる。例えば、固体撮影素子２２Ａで撮影された撮影画像の左上の部分と、固体撮影素子２２Ｂで撮影された撮影画像の左下の部分が、画像の繋ぎ合わせる部分として一致する場合は、固体撮影素子２２Ａの走査は、固体撮影素子の上から下に向かって、右から左に走査する。一方、固体撮影素子２２Ｂの走査は、固体撮影素子の下から上に向かって、右から左に走査する。このように、画像の繋ぎ合わせ部分に基づいて、各固体撮影素子の走査方向を制御することで、繋ぎ合わせに効果が得られる。
次に、補正ゲイン算出部３５はセンサＡとセンサＢの露出差補正ゲインを算出し、補正部３６が露出差を補正する（ステップＳ３１１）。撮影露出EvCaptureＡとEvCaptureＢのうち明るい側のセンサでは、中央部から周辺にかけて倍率が下がるようなゲインであり、暗い側のセンサには中央部から周辺にかけて倍率が上がるようなゲインがcorrGainＡ、corrGainＢである。corrGainＡ、corrGainＢを露出差補正ゲインという。corrGainＡ、corrGainＢの算出については図１４にて説明する。
なお、ステップＳ３１１の露出差補正ゲインの算出は、目標露出EvTargetＡ、EvTargetＢを算出した後であれば実行可能である。例えば、ステップＳ３０５の前に露出差補正ゲインが算出されてもよい。
＜露出差補正ゲインcorrGainＡ、corrGainＢの算出＞
図１３を用いて露出差補正ゲインについて説明する。図１３（ａ）は図１２のステップＳ３０１におけるEvTarget１とEvTarget２を模式的に示す図であり、図１３（ｂ）は図１２のステップＳ３０４で調整された目標露出EvTargetＡとEvTargetＢを模式的に示す図であり、図１３（ｃ）は撮影露出EvCaptureＡとEvCaptureＢを模式的に示す図である。なお、図１３はセンサＡの目標露出よりもセンサＢの目標露出の方が大きい場合を示すが、逆の場合も同様に算出される。
図１３（ａ）に示すように、EvTargetＢとEvTargetＡの差が閾値より大きい場合、ゲインを補正するだけでは部分画像０と部分画像１の輝度差が目立つため、第一の露出量算出部３１と第二の露出量算出部３３がEvTargetＢとEvTargetＡの差が閾値になるように目標露出EvTargetＡとEvTargetＢを決定する。決定の仕方の一例を以下に示す。
(i) EvTargetＡ＝EvTargetＡ
EvTargetＢ＝EvTargetＡ＋閾値
(ii) EvTargetＡ＝EvTargetＢ−閾値
EvTargetＢ＝EvTargetＢ
(iii) EvTargetＡ＝EvTargetＡ＋｛（EvTargetＢ−EvTargetＡ）−閾値｝/２
EvTargetＢ＝EvTargetＢ−｛（EvTargetＢ−EvTargetＡ）−閾値｝/２
このような計算により図１３（ｂ）の目標露出EvTargetＡ、EvTargetＢが得られる。
図１３（ｂ）ではEvTargetＢ−EvTargetＡ＝EvDiffに調整される。そして、図１３（ｃ）に示すように、第三の露出量算出部３２はEvDiffを半分にした撮影露出EvCaptureＢを算出する。なお、撮影露出EvCaptureＢはEvDiffの半分に限られず、EvTargetＢより小さければよい。また、撮影露出EvCaptureＢの下限は目標露出EvTargetＡ以上である。
次に、図１４を用いて露出差補正ゲインcorrGainＡ、corrGainＢの算出方法を説明する。図１４は露出差補正ゲインcorrGainＡ、corrGainＢの算出方法を説明する図の一例である。図１４（ａ）を用いて目標露出EvTargetＡ、EvTargetＢに基づいてcorrGainＡ、corrGainＢが算出される例を説明する。センサＡの中央部とセンサＢの中央部を直線４０１で補間するゲインが露出差補正ゲインcorrGainＡ及びcorrGainＢである。直線４０２と４０３は、センサＡとセンサＢの左右を逆にすれば直線４０１と同じ傾きである。
部分画像０，１の半径をＰとする。ここで、ＥＶはＡＰＥＸ系でlog2の単位なので、EvTargetＢとEvTargetＡの露出量の差は２^(EvTargetＡ−EvTargetＢ)で表される。従って、｛２^(EvTargetＡ−EvTargetＢ)/２｝/ＰがセンサＡにおける直線４０１の傾きである。これが露出差補正ゲインcorrGainＡである。センサＢについても傾きは同じだがEvTargetＢから値が小さくなる。露出差補正ゲインcorrGainＡはセンサＡの中央部からの距離ｒに比例して周辺部にかけて大きくなり、露出差補正ゲインcorrGainＢはセンサＢの中央部からの距離ｒに比例して周辺部にかけて小さくなる。
図１４（ｂ）はセンサＡ，Ｂにおける露出差補正ゲインcorrGainＡとcorrGainＢの傾斜を矢印の向きで示す図である。このように、実際の部分画像０，１は円形なので、センサＡにおいて直線４０１は円錐形の凹部となり、センサＢにおいて直線４０１は円錐形の凸部となる。換言すると、露出差補正ゲインcorrGainＡとcorrGainＢは中心からの距離ｒが同じなら同じ値となる同心円状である。
図１４（ｃ）は、露出差補正ゲインcorrGainＡとcorrGainＢによる輝度の補正を模式的に説明する図の一例である。センサＡで撮影された部分画像０をcorrGainＡで補正し、センサＢで撮影された部分画像１をcorrGainＢで補正する。部分画像０，１の中心からの距離がｒの画素を部分画像０（ｒ）、部分画像１（ｒ）とすると、補正後の部分画像０，１は以下のように表すことができる。
部分画像０(r)＝部分画像０(r)×(r/P)×(1/2)×｛２^(EvTargetＡ−EvTargetＢ)｝
＝部分画像０(r)×(r/P)×｛２^(EvCaptureＡ−EvCaptureＢ)｝
部分画像１(r)＝部分画像１(r)×{(P-r)/P｝×(1/2)×{２^(EvTargetＡ−EvTargetＢ)｝
＝部分画像１(r)×{(P-r)/P}×｛２^(EvCaptureＡ−EvCaptureＢ)｝
このように、露出差補正ゲインcorrGainＡとcorrGainＢをそれぞれのセンサＡ，Ｂの部分画像０，１の中央部から周辺にかけて徐々に変化させていき、部分画像０，１の境界部で両方のセンサＡ、Ｂの部分画像０，１の輝度が一致させることで、境界部の輝度の段差をなくすことができる。
センサＡ，Ｂのどちらにおいてもゲインは部分画像を明るくする方向にかければよいので、信号を増幅させることで実現できる。逆に、画像を暗くする方向にゲインをかけようとすると、画像が飽和している領域での補正が容易でない。これは、画像が飽和している領域では元の被写体の輝度情報が失われてしまっており、ゲインで暗くする場合にどれだけ暗くすれば良いかがわからないためである。ゲインで明るくする場合には、飽和領域を明るくしても飽和したままなので不都合は少ない。この理由により、画像を暗くするようなマイナスのゲインを露出差補正ゲインとしてかけることは好ましくない。
本実施形態では、図１４（ｃ）に示すように、マイナスゲインを使用せずに所望の露出差補正を実現する。すなわち、センサＢの元の目標露出EvTargetＢに対して撮影露出EvCaptureＢをあえて小さくすることによって暗めに撮影しておき、センサＢの周辺部から中央部にかけて明るくするようなゲインをかける。センサＢの中央部では、露出差補正ゲインcorrGainＢよって明るく補正された状態でちょうど当初の目標露出EvTargetＢと輝度が一致する。
センサＡとセンサＢの境界部では、センサＡの周辺部に露出差補正ゲインcorrGainＡがかかるがセンサＢは暗い露出で撮影した上で周辺部には露出差補正ゲインcorrGainＢがかからない（補正の前後で変わらない）ため、部分画像０，１の輝度が一致する。
これにより、感度差の異なるセンサＡとセンサＢの画像を繋ぎ合わせた際、繋ぎ合せ
部分の明るさの差が出ず、良好な露出にすることができる。
＜変形例＞
図１５を用いて露出差補正ゲインcorrGainＡ、corrGainＢの変形例を説明する。図１５（ａ）は半径方向に曲線状に変化する露出差補正ゲインcorrGainＡ、corrGainＢを示す。図１５（ｂ）の露出差補正ゲインcorrGainＡはセンサＡの中心付近では緩やかに大きくなり、周辺部で傾きが大きくなる。露出差補正ゲインcorrGainＢはセンサＢの中心付近では緩やかに減少し、周辺部で傾きが大きくなる。このような露出差補正ゲインcorrGainＡ、corrGainＢでも、本実施例と同様の効果を奏することができる。また、部分画像０，１の中央部で輝度の変化がなだらかになるので違和感を低減できる。
具体的には露出差補正ゲインcorrGainＡは振幅が２^(EvTargetＡ−EvTargetＢ)のサインカーブであり、位相はπから２πの範囲を取る。半径Ｐを３π/２から２π（又は３π/２からπ）に対応させれば任意の距離ｒにおける露出差補正ゲインを算出できる。露出差補正ゲインcorrGainＢは振幅が２^(EvTargetＡ−EvTargetＢ）のサインカーブであり、位相は０からπの範囲を取る。半径Ｐをπ/２からπ（又はπ/２から０）に対応させれば任意の距離ｒにおける露出差補正ゲインを算出できる。この他、二次多項式、四次多項式等、凸部を有する形状の関数で補間されてもよい。
図１５（ｂ）は露出差補正ゲインcorrGainＢのピークがEvTargetＢよりもΔEVだけ小さい露出差補正ゲインcorrGainＢを示す図の一例である。すなわち、補正部３６はセンサＢの中央部では目標露出EvTargetＢまで輝度を補正せずに、補正量を少なくする。ΔEVはEvTargetＢの数〜数十パーセントである。これにより、露出差補正ゲインcorrGainＡ、corrGainＢの傾きが小さくなるので、補正による輝度の変化が少なくなり、露出差補正処理による輝度差を低減できる。
なお、露出差補正ゲインcorrGainＢのピークをEvTargetＢよりも大きくしてもよい。この場合、補正による輝度の変化は大きくなるがよりメリハリのある画像が得られる。
実施例１では明るい方のセンサＢの撮影露出EvCaptureＢを目標露出EvTargetＢの半分にしたが、本実施例では明るい方のセンサＢの撮影露出EvCaptureＢをセンサＡの目標露出EvTargetＡに設定する全天球撮影装置１０を説明する。すなわち、センサＡとセンサＢの撮影露出を、センサＡとセンサＢの目標露出のうち小さい方と同じ値に設定する。
なお、本実施例において、同一の符号を付した構成要素については、同様の機能を果たすので、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。具体的には、全天球撮影装置１０のハードウェア構成図、機能ブロック図等は実施例１と同様でよい。
図１６は、本実施例による撮影装置のスチル時における一連のＡＥ処理のフローチャート図の一例である。なお、図１６の説明においては、図１２との相違を説明する。ステップＳ３０１〜Ｓ３０５の処理は図１２と同様でよい。
ステップＳ３０５においてEvTargetＡ＜EvTargetＢの場合、第三の露出量算出部３２はセンサＢの撮影露出EvCaptureＢを目標露出EvTargetＡに決定する（ステップＳ３０６）。センサＡの撮影露出EvCaptureＡはEvTargetＡのままでよい。すなわち、センサＡの撮影露出EvCaptureＡとセンサＢの撮影露出EvCaptureＢはどちらもEvTargetＡとする。
同様にEvTargetＡ≧EvTargetＢの場合、センサＡの撮影露出EvCaptureＡを目標露出EvTargetＢに決定する（ステップＳ３０７）。センサＢの撮影露出EvCaptureＢはEvTargetＢのままでよい。すなわち、センサＡの撮影露出EvCaptureＡとセンサＢの撮影露出EvCaptureＢはどちらもEvTargetＢとする。
以降のステップＳ３０８〜Ｓ３１１は実施例１の図１２と同様であるがこのうちステップＳ３１１の露出差補正ゲインcorrGainＡとcorrGainＢの求め方が異なる。図１７を用いて説明する。
図１７は露出差補正ゲインcorrGainＡ、corrGainＢの算出方法を説明する図の一例である。図１７（ａ）は図１４（ａ）と同じものであり、直線４０１の求め方は図１４（ａ）と同じでよい。従って、corrGainＡ、corrGainＢの傾きは実施例１と同じである。
しかしながら、本実施例ではセンサＢの撮影露出EvCaptureＢが目標露出EvTargetＡと同じなので、その分だけ補正量が大きくなる。具体的には、センサＡのcorrGainＡは実施例１と同様であり、部分画像０を補正する式は以下のようになる。
部分画像０(r)×(r/P)×｛２^(EvCaptureＡ−EvCaptureＢ)｝
これに対し、センサＢのcorrGainＢは２^(EvTargetＡ−EvTargetＢ)だけ底上げされるため、部分画像１を補正する式は以下のようになる。
部分画像１＝部分画像１(r)×〔{(P-r)/P}×｛２^(EvCaptureＡ−EvCaptureＢ)｝＋２^(EvCaptureＡ−EvCaptureＢ)〕
つまり、２^(EvTargetＡ−EvTargetＢ)の差の半分だけ大きくなったcorrGainＢが部分画像１に乗じられる。このように、明るい方の部分画像１を実施例１よりも大きく補正すれば、実施例１と同様の効果が得られる。すなわち、センサＢの元の目標露出EvTargetＢに対して撮影露出EvCaptureＢをセンサＡの撮影露出EvCaptureＡと同じにすることによって暗めに撮影しておき、補正部３６がセンサＢの周辺部から中央部にかけて明るくするようなゲインをかける。センサＢの中央部では、露出差補正ゲインcorrGainＢよって明るく補正された状態でちょうど当初の目標露出EvTargetＢと輝度が一致する。
センサＡとセンサＢの境界部では、センサＡの周辺部に露出差補正ゲインcorrGainＡがかかり、センサＢの周辺部にも同程度の露出差補正ゲインcorrGainＢがかかるため、部分画像０，１の輝度が一致する。
＜変形例＞
本実施例においても露出差補正ゲインcorrGainＡ、corrGainＢは曲線でもよい。また、露出差補正ゲインcorrGainＢの最大値は目標露出EvTargetＢより小さくてもよいし大きくてもよい。
また、図１８（ａ）に示すように、撮影露出EvCaptureＢは「EvTargetＢ−EvTargetＡ」の１／３でもよい。図１８（ｂ）に示すように、撮影露出EvCaptureＢは「EvTargetＢ−EvTargetＡ」の２／３でもよい。しかしながら、撮影露出EvCaptureＢを実施例１の（EvTargetＢ−EvTargetＡ）/２よりも大きくすると、センサＡの補正量が大きくなるため、部分画像０内の輝度の変化が大きくなるおそれがあり、撮影露出EvCaptureＢは（EvTargetＢ−EvTargetＡ）の半分以下とすることがより好適である。
＜補足＞
本実施形態では説明のため、輝度が完全に一様な被写体に対して露出差を付けて撮影して得られたと仮定した場合の露出差補正を説明した。しかし、実際の被写体の輝度は一様ではないため、センサＡとセンサＢで輝度の差がある。輝度の差がある場合の補正の考え方について説明する。
図１９は、輝度差のある被写体に対する従来の補正方法と本実施形態の補正方法を説明する図である。
図１９（ａ）は輝度差のある被写体をセンサＡ、センサＢが同じ露出で撮影した場合の出力画像である。輝度差があるため画像出力はセンサＡでは露出オーバーになり、センサＢでは露出アンダーになる。なお、撮影時の露出をＥＶ７とする。
図１９（ｂ）は露出オーバーと露出アンダーをそれぞれ低減したい場合の露出量を示す。一例としてセンサＡの露出をＥＶ８、センサＢの露出をＥＶ６とする。ＥＶ８で撮影した場合のセンサＡの画像出力は適正露出よりも小さい露出になり、ＥＶ６で撮影した場合のセンサＢの画像出力は適正露出よりも大きい露出になる。
そこで、図１９（ｃ）に示すようなゲインをかけることで出力画像を補正する。センサＡの出力画像には中心から周辺部にかけて徐々に大きくなるプラスのゲイン（例えば＋６ｄＢ：２倍）がかけられ、センサＢの出力画像には中心から周辺部にかけて徐々に小さくなるマイナスのゲイン（例えば−６ｄＢ：１/２）がかけられる。
これにより、図１９（ｄ）に示すように、センサＡとセンサＢの両方で適正露出に近い露出での撮影が可能になる。
しかしながら、図１９（ｃ）のようにマイナスのゲインをかけると飽和領域で不都合が生じる。
そこで、本実施形態では図１９（ｅ）に示すように、センサＢの露出が露出アンダーを維持するような露出で撮影する。例えば、センサＢがＥＶ７で撮影すれば出力画像は露出アンダーのままになる。
図１９（ｆ）は本実施形態のゲインを模式的に示す。センサＢのゲインは中心から周辺部にかけて徐々に小さくなるプラスのゲインになる。これにより、図１９（ｇ）に示すように、センサＡとセンサＢの両方で適正露出に近い露出での撮影が可能になる。また、マイナスゲインを使用しないで済む。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では全天球撮影装置１０が単体で画像処理しているが、全天球画像の撮影機能が外付けされた情報処理装置が画像処理することもできる。情報処理装置としては、例えばパーソナル・コンピュータ、スマートフォン、タブレット・コンピュータなどが挙げられる。あるいは、全天球撮影装置１０が撮影機能を内蔵した情報処理装置と呼ばれていてもよい。
また、複数の装置が通信して本実施形態の画像処理を実現してもよい。例えば、全天球撮影装置１０がサーバと通信し、全天球撮影装置１０は撮影と露出差補正ゲインの算出までを行い、サーバが露出差補正を行う。このように、本実施形態の画像処理は複数の装置が連携して実現する情報処理システムとして構築できる。
また、本実施形態では全天球画像を撮影するための２つの部分画像０，１が繋ぎ合わせられる際の補正について説明したが、３つ以上の部分画像が繋ぎ合わされる場合にも適用できる。また、繋ぎ合わされる部分画像は全天球画像を構築するものでなくてもよい。
なお、第一の露出量算出部３１は第一の露出量算出手段の一例であり、第二の露出量算出部３３は第二の露出量算出手段の一例であり、第三の露出量算出部３２は第三の露出量決定手段の一例であり、補正ゲイン算出部は補正ゲイン算出手段の一例であり、撮影処理部３４は撮影処理手段の一例であり、補正部３６は画像補正手段の一例である。センサＡは第一の撮影素子の一例であり、センサＢは第二の撮影素子の一例であり、corrGainＡは第一の補正ゲインの一例であり、corrGainＢは第二の補正ゲインの一例であり、第一の部分画像は部分画像０の一例であり、第二の部分画像は部分画像１の一例である。
１０ ：全天球撮影装置
３１ ：第一の露出量算出部
３２ ：第三の露出量算出部
３３ ：第二の露出量算出部
３４ ：撮影処理部
３５ ：補正ゲイン算出部
３６ ：補正部
特開２０１５−０５０４９８号公報

Claims (11)

  1. 複数の部分画像を繋ぎ合わせて、一つの画像を形成し出力する撮影装置であって、
    第一の部分画像を撮影する第一の撮影素子と、
    第二の部分画像を撮影する第二の撮影素子と、
    前記第一の撮影素子の目標露出量である第一の露出量を決定する第一の露出量算出手段と、
    前記第二の撮影素子の目標露出量である第二の露出量を決定する第二の露出量算出手段と、
    前記第一の露出量と前記第二の露出量のうち大きい方の露出量を小さくした第三の露出量を決定する第三の露出量決定手段と、
    前記第一の露出量と前記第二の露出量とに基づいて、前記第一の部分画像を補正する第一の補正ゲインと、前記第二の部分画像を補正する第二の補正ゲインと、を算出する補正ゲイン算出手段と、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子について、該撮影素子の目標露出量を撮影時の露出量として撮影を行い、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子について、前記第三の露出量を撮影時の露出量として撮影を行う撮影処理手段と、
    前記第一の補正ゲインで前記第一の部分画像を補正し、前記第二の補正ゲインで前記第二の部分画像を補正する画像補正手段と、を有する撮影装置。
  2. 前記第三の露出量決定手段は、前記第一の露出量と前記第二の露出量のうち大きい方を、前記第一の露出量と前記第二の露出量のうち小さい方を下限に、前記第一の露出量と前記第二の露出量の差の半分以下に小さくして前記第三の露出量を決定する請求項１に記載の撮影装置。
  3. 前記第三の露出量決定手段は、前記第一の露出量と前記第二の露出量のうち大きい方を小さくすることで、前記第一の露出量と前記第二の露出量のうち小さい方と同じ値にして前記第三の露出量を決定する請求項１に記載の撮影装置。
  4. 前記第一の部分画像及び前記第二の部分画像は円形であり、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインは、該撮影素子が撮影した部分画像の中央部から周辺部にかけて同心円状に徐々に大きくなるゲインであり、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子の補正ゲインは、該撮影素子が撮影した部分画像の中央部の明るさを撮影素子の目標露出量で撮影した際の明るさと同程度とし、中央部から周辺部にかけて同心円状に徐々に小さくなるゲインである請求項１〜３のいずれか１項に記載の撮影装置。
  5. 前記補正ゲイン算出手段は、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の周辺部の明るさが、該撮影素子が撮影した部分画像の中央部の明るさよりも、前記第一の露出量で撮影した際の明るさと前記第二の露出量で撮影した際の明るさの差の半分だけ明るくなるように、該部分画像の中央部から周辺部にかけて同心円状に徐々に大きくなるゲインと、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の周辺部の明るさが、該撮影素子が撮影した部分画像の中央部の明るさよりも、前記第一の露出量で撮影した際の明るさと前記第二の露出量で撮影した際の明るさの差の半分だけ暗くなるように、該部分画像の中央部から周辺部にかけて同心円状に徐々に小さくなるゲインと、
    を算出する請求項４に記載の撮影装置。
  6. 前記補正ゲイン算出手段は、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中央部からの距離に比例して周辺部にかけて同心円状に大きくなるゲインと、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中央部からの距離に比例して周辺部にかけて同心円状に小さくなるゲインと、
    を算出する請求項４又は５に記載の撮影装置。
  7. 前記補正ゲイン算出手段は、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中心部付近では緩やかな傾きであり、周辺部で大きな傾きで増加するゲインと、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中心部付近では緩やかな傾きであり、周辺部で大きな傾きで減少するゲインと、
    を算出する請求項４又は５に記載の撮影装置。
  8. 前記第三の露出量決定手段は、前記第三の露出量を、前記第一の露出量と前記第二の露出量のうち小さい方とし、
    前記補正ゲイン算出手段は、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中央部にはゲインをかけず、該部分画像の中央部から周辺部にかけて同心円状に徐々に大きくなるゲインと、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子の補正ゲインとして、該撮影素子が撮影した部分画像の中央部に最も大きいゲインをかけ、該部分画像の中央部から周辺部にかけて同心円状に徐々に小さくなるゲインであり、該部分画像の周辺部のゲインが前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子の補正ゲインにおける周辺部のゲインと同程度であるゲインと、
    を算出する請求項１〜７のいずれか１項に記載の撮影装置。
  9. 複数の部分画像を繋ぎ合わせて、一つの画像を形成し出力する情報処理システムであって、
    第一の部分画像を撮影する第一の撮影素子と、
    第二の部分画像を撮影する第二の撮影素子と、
    前記第一の撮影素子の目標露出量である第一の露出量を決定する第一の露出量算出手段と、
    前記第二の撮影素子の目標露出量である第二の露出量を決定する第二の露出量算出手段と、
    前記第一の露出量と前記第二の露出量のうち大きい方の露出量を小さくした第三の露出量を決定する第三の露出量決定手段と、
    前記第一の露出量と前記第二の露出量とに基づいて、前記第一の部分画像を補正する第一の補正ゲインと、前記第二の部分画像を補正する第二の補正ゲインと、を算出する補正ゲイン算出手段と、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子について、該撮影素子の目標露出量を撮影時の露出量として撮影を行い、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子について、前記第三の露出量を撮影時の露出量として撮影を行う撮影処理手段と、
    前記第一の補正ゲインで前記第一の部分画像を補正し、前記第二の補正ゲインで前記第二の部分画像を補正する画像補正手段と、を有する情報処理システム。
  10. 複数の部分画像を繋ぎ合わせて、一つの画像を形成し出力する情報処理装置を機能させるためのプログラムであって、
    前記情報処理装置は、
    第一の部分画像を撮影する第一の撮影素子と、
    第二の部分画像を撮影する第二の撮影素子と、
    を有し、
    前記第一の撮影素子の目標露出量である第一の露出量を決定する第一の露出量算出手段と、
    前記第二の撮影素子の目標露出量である第二の露出量を決定する第二の露出量算出手段と、
    前記第一の露出量と前記第二の露出量のうち大きい方の露出量を小さくした第三の露出量を決定する第三の露出量決定手段と、
    前記第一の露出量と前記第二の露出量とに基づいて、前記第一の部分画像を補正する第一の補正ゲインと、前記第二の部分画像を補正する第二の補正ゲインと、を算出する補正ゲイン算出手段と、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子について、該撮影素子の目標露出量を撮影時の露出量として撮影を行い、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子について、前記第三の露出量を撮影時の露出量として撮影を行う撮影処理手段と、
    前記第一の補正ゲインで前記第一の部分画像を補正し、前記第二の補正ゲインで前記第二の部分画像を補正する画像補正手段、として機能させるためのプログラム。
  11. 複数の部分画像を繋ぎ合わせて、一つの画像を形成し出力する撮影装置の画像処理方法であって、
    前記撮影装置は、
    第一の部分画像を撮影する第一の撮影素子と、
    第二の部分画像を撮影する第二の撮影素子と、
    を有し、
    前記第一の撮影素子の目標露出量である第一の露出量を決定する第一の露出量算出ステップと、
    前記第二の撮影素子の目標露出量である第二の露出量を決定する第二の露出量算出ステップと、
    前記第一の露出量と前記第二の露出量のうち大きい方の露出量を小さくした第三の露出量を決定する第三の露出量決定ステップと、
    前記第一の露出量と前記第二の露出量とに基づいて、前記第一の部分画像を補正する第一の補正ゲインと、前記第二の部分画像を補正する第二の補正ゲインと、を算出する補正ゲイン算出ステップと、
    前記第一の露出量と前記第二の露出量のうち露出量が小さい方の撮影素子について、該撮影素子の目標露出量を撮影時の露出量として撮影を行い、
    前記第一の露出量と前記第二の露出量のうち露出量が大きい方の撮影素子について、前記第三の露出量を撮影時の露出量として撮影を行う撮影処理ステップと、
    前記第一の補正ゲインで前記第一の部分画像を補正し、前記第二の補正ゲインで前記第二の部分画像を補正する画像補正ステップと、を有する画像処理方法。
JP2017166054A 2017-08-30 2017-08-30 撮影装置、情報処理システム、プログラム、画像処理方法 Active JP6933059B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017166054A JP6933059B2 (ja) 2017-08-30 2017-08-30 撮影装置、情報処理システム、プログラム、画像処理方法
US16/103,364 US10609302B2 (en) 2017-08-30 2018-08-14 Imaging device, information processing system, program, image processing method
US16/801,158 US11258960B2 (en) 2017-08-30 2020-02-26 Imaging device, information processing system, program, image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017166054A JP6933059B2 (ja) 2017-08-30 2017-08-30 撮影装置、情報処理システム、プログラム、画像処理方法

Publications (3)

Publication Number Publication Date
JP2019047213A JP2019047213A (ja) 2019-03-22
JP2019047213A5 JP2019047213A5 (ja) 2020-03-19
JP6933059B2 true JP6933059B2 (ja) 2021-09-08

Family

ID=65438079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017166054A Active JP6933059B2 (ja) 2017-08-30 2017-08-30 撮影装置、情報処理システム、プログラム、画像処理方法

Country Status (2)

Country Link
US (2) US10609302B2 (ja)
JP (1) JP6933059B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079403A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. LOCAL EXPOSURE COMPENSATION
JP2019168967A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP7247609B2 (ja) 2019-01-30 2023-03-29 株式会社リコー 撮像装置、撮像方法およびプログラム
CN110213496A (zh) * 2019-03-21 2019-09-06 南京泓众电子科技有限公司 一种单目旋转式全景相机测光方法、系统、便携式终端
JP7451888B2 (ja) * 2019-06-27 2024-03-19 株式会社リコー 撮像装置、撮像システム、方法およびプログラム
US11405564B2 (en) * 2019-09-17 2022-08-02 Gopro, Inc. Methods and systems for parameter alignment for an image capture device with multiple image capture devices
WO2021118611A1 (en) * 2019-12-10 2021-06-17 Gopro, Inc. Image sensor with variable exposure time and gain factor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015955B2 (en) * 2000-12-22 2006-03-21 Eastman Kodak Company Camera having verification display with viewer adaptation compensation for reference illuminants and method
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
JP5655667B2 (ja) * 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP5779959B2 (ja) 2011-04-21 2015-09-16 株式会社リコー 撮像装置
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
US9547160B2 (en) * 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
JP6299116B2 (ja) * 2013-08-30 2018-03-28 株式会社リコー 撮像装置、撮像方法および記録媒体
US10136079B2 (en) 2013-10-31 2018-11-20 Ricoh Imaging Company, Ltd. Method and apparatus for imaging an object
JP6176073B2 (ja) * 2013-11-14 2017-08-09 株式会社リコー 撮影システム及びプログラム
JP6492452B2 (ja) 2014-08-12 2019-04-03 株式会社リコー 制御システム、撮像装置、制御方法およびプログラム
JP6600936B2 (ja) * 2014-11-06 2019-11-06 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
US11463630B2 (en) * 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP2017028633A (ja) 2015-07-27 2017-02-02 株式会社リコー 映像配信端末、プログラム、及び、映像配信方法
JP2018019387A (ja) * 2016-07-15 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮影装置、及び、信号処理方法
JP6741533B2 (ja) * 2016-09-26 2020-08-19 キヤノン株式会社 撮影制御装置およびその制御方法
JP7013199B2 (ja) * 2017-10-23 2022-01-31 キヤノン株式会社 撮像装置およびその制御方法
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments

Also Published As

Publication number Publication date
JP2019047213A (ja) 2019-03-22
US11258960B2 (en) 2022-02-22
US10609302B2 (en) 2020-03-31
US20190068890A1 (en) 2019-02-28
US20200195858A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP6933059B2 (ja) 撮影装置、情報処理システム、プログラム、画像処理方法
JP5971207B2 (ja) 画像調整装置、画像調整方法およびプログラム
JP6065474B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
US9613408B2 (en) High dynamic range image composition using multiple images
US10477106B2 (en) Control system, imaging device, and computer-readable medium
US9871976B2 (en) Imaging apparatus, control system and control method
JP6119235B2 (ja) 撮像制御装置、撮像システム、撮像制御方法およびプログラム
KR20180080297A (ko) 이미지 프로세싱 장치 및 이미지 프로세싱 방법
JP6299116B2 (ja) 撮像装置、撮像方法および記録媒体
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
JP6492452B2 (ja) 制御システム、撮像装置、制御方法およびプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2004048562A (ja) ノイズ低減回路及び撮像装置
JP2015119436A (ja) 撮像装置
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP7379884B2 (ja) 撮像装置、画像処理システム、方法およびプログラム
JP7451888B2 (ja) 撮像装置、撮像システム、方法およびプログラム
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017225036A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200604

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R151 Written notification of patent or utility model registration

Ref document number: 6933059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151