JP7135299B2 - 画像処理装置、表示装置、画像処理方法、プログラム - Google Patents

画像処理装置、表示装置、画像処理方法、プログラム Download PDF

Info

Publication number
JP7135299B2
JP7135299B2 JP2017208676A JP2017208676A JP7135299B2 JP 7135299 B2 JP7135299 B2 JP 7135299B2 JP 2017208676 A JP2017208676 A JP 2017208676A JP 2017208676 A JP2017208676 A JP 2017208676A JP 7135299 B2 JP7135299 B2 JP 7135299B2
Authority
JP
Japan
Prior art keywords
image
image data
synthesizing
luminance characteristic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017208676A
Other languages
English (en)
Other versions
JP2019082768A (ja
Inventor
啓一 河口
貴浩 浅井
和弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017208676A priority Critical patent/JP7135299B2/ja
Priority to US16/648,150 priority patent/US11284014B2/en
Priority to CN201880069286.5A priority patent/CN111279387A/zh
Priority to EP18800776.9A priority patent/EP3701493A1/en
Priority to PCT/JP2018/039479 priority patent/WO2019082925A1/en
Publication of JP2019082768A publication Critical patent/JP2019082768A/ja
Application granted granted Critical
Publication of JP7135299B2 publication Critical patent/JP7135299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Description

本発明は、画像処理装置、表示装置、画像処理方法、及び、プログラムに関する。
デジタルカメラなどの撮像素子を備えた撮像装置は光を電気信号に変換する光電変換を行い輝度情報に変換する。しかし、ＣＭＯＳなどの撮像素子は人間の目に比べてダイナミックレンジが狭いため、黒つぶれや白とびといった画質の低下が発生する場合がある。
近年、一度の撮像で、３６０°の全天球画像を得る超広角な撮像装置が提供されている。このような撮像装置で撮像した場合、画角が大きいため明るい場所や暗い場所が１枚の画像に含まれる可能性が大きくなる。このため、上記の黒つぶれや白とびなどの画質低下も発生しやすい。
このような不都合に対し、露光条件の異なる複数の画像を撮像し、これらの複数の画像データを合成してダイナミックレンジの拡大された１枚の画像を得る技術が考案されている（例えば、特許文献１参照。）。特許文献１には、一部の指定領域がユーザに指定されたことに応じて、指定領域の輝度特性を取得し、取得された指定領域の輝度特性に基づき、異なる露光条件で撮像して得られた画像データを閲覧時に合成する表示装置について開示されている。
しかしながら、特許文献１に記載された合成方法は、合成時に得られる中間露出レベルの決定方法について記載がないという問題がある。すなわち、特許文献１の中間露出レベルは、決定した目標露出レベルと現在の露出レベルの間の値に過ぎず、合成により得られる中間露出レベルが適切な露出の画像であるとは限らないおそれがある。
本発明は、上記課題に鑑み、適切な露出の画像を合成できる画像処理装置を提供することを目的とする。
本発明は、異なる露光条件で撮像して得られた複数の画像データを取得する画像取得手段と、前記複数の画像データのうち一の画像データの表示領域を受け付ける受付手段と、前記受付手段が受け付けた前記表示領域の輝度特性を取得する輝度特性取得手段と、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する合成手段と、異なる露光条件で撮像された複数の前記他の画像データの中から、前記輝度特性取得手段が取得した前記輝度特性に基づき１つ以上の前記他の画像データを選択する選択手段と、前記異なる露光条件で撮像して得られた複数の画像データは全天球画像であり、前記受付手段は、前記全天球画像の視線方向と画角の指定を受け付け、前記受付手段が受け付けた視線方向と画角の前記一の画像に射影方式変換を施し、所定領域の参照領域画像を生成する射影方式変換手段と、を有し、前記合成手段は、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと前記選択手段が選択した前記他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するものであり、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性に基づき、全天球画像である前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する画像処理装置を提供する。
本発明によれば、適切な露出の画像を合成できる画像処理装置を提供することができる。
一般撮像装置の概略的な動作を模式的に示す図の一例である。 撮像システムの構成の概略図である。 特殊撮像装置のハードウェア構成図の一例である。 スマートフォンのハードウェア構成図の一例である。 一般撮像装置のハードウェア構成図の一例である。 撮像システムが有する、特殊撮像装置、一般撮像装置、及びスマートフォンの各機能ブロック図の一例である。 画像・音処理部の詳細な機能ブロック図の一例である。 撮像システムの全体的な動作を説明するシーケンス図の一例である。 合成処理に関する画像処理の流れを説明する図の一例である。 基準画像に対して、選択画像決定部がどの平面画像を合成するかを決定する処理を説明する図である。 特殊撮像装置の左側面図、背面図、平面図、及び、底面図の一例である。 特殊撮像装置の使用イメージ図である。 特殊撮像装置で撮像された半球画像（前側）、特殊撮像装置で撮像された半球画像（後側）、正距円筒図法により表された画像を示した図である。 正距円筒射影画像で球を被う状態を示した概念図、及び、全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 図１５の立体斜視図、ディスプレイに表示された場合の所定領域画像を表す図である。 所定領域情報と所定領域の画像との関係を示した図である。 画像・音処理部の一例の構成を示すブロック図である（実施例２）。 合成処理に関する画像処理の流れを説明する図の一例である（実施例２）。 基準となる正距円筒射影画像と露出アンダーな正距円筒射影画像との合成を説明する図の一例である。 基準となる全天球画像と露出オーバーな全天球画像との合成を説明する図の一例である。
以下、発明を実施するための形態の一例として、図面を用いて説明する。
＜実施形態の概略＞
本実施例の概略を説明する。本実施例の一般撮像装置は同じ場所から異なる露光条件で撮像して得られた複数の画像の一部の領域を表示装置に表示する処理に際して、以下の処理を行う。
図１を用いて、一般撮像装置の概略的な動作を説明する。図１は一般撮像装置による２つの画像の合成を模式的に説明する図である。
（１）例えば一般撮像装置は同じ位置から異なる露光条件で複数回、撮像し、複数の画像を取得する。複数の露光条件の１つは基準となる画像全体で適正な露出、もう１つは露出オーバー、もう１つは露出アンダーとする。適切な露出の画像を基準画像Ｒ、露出オーバーの画像を露出変更画像Ｏ、露出アンダーの画像を露出変更画像Ｕとする。
（２）ユーザがスマートフォンを操作して基準画像Ｒの一部の領域を指定した際、スマートフォンは、基準画像Ｒの指定された領域の輝度特性（明るさの平均値など）を取得して、目標とする明るさ値と比較する。目標より基準画像Ｒの領域が明るい場合は、露出変更画像Ｕを選択し、目標より基準画像Ｒの領域が暗い場合は、露出変更画像Ｏを選択する。
（３）そして、スマートフォン５は、明るすぎる又は暗すぎる割合に応じて露出変更画像Ｕ、又は、露出変更画像Ｏと基準画像Ｒとを合成する。これにより、指定された領域の明るさが良好となる。
このように、本実施例の一般撮像装置は、互いに異なる複数の露光条件で撮像して得られた複数の画像データの一部領域をユーザが指定して表示する際、基準とする露光条件で撮像された画像の指定された一部の領域の輝度特性から、合成する画像及び合成比率を決定して合成及び表示を行う。従って、複数の画像を合成して適切な明るさの画像データを得ることができる。
＜用語について＞
露光条件とは、画像データの明るさに影響する撮像条件をいう。表示領域は、画像データのうちディスプレイ等に表示される一部又は全体をいう。
輝度特性は、画像の輝度に関する特性である。明るさ、輝度情報、露出状態、露光状態、などと称してもよい。
所定の条件は、２つの画像を合成するための条件である。どのように合成するかという合成方法と称してもよい、例えば、合成割合、他方の画像による補正の程度などがある。
＜撮像システムの概略＞
続いて、図２を用いて、本実施例の撮像システム１００の構成の概略について説明する。図２は、本実施例の撮像システム１００の構成の概略図である。
図２（ａ）に示されているように、本実施例の撮像システム１００は、一般撮像装置３、及び、スマートフォン５を有する。
スマートフォン５は、Wi-Fi(Wireless Fidelity)、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、一般撮像装置３と無線通信を行う情報処理装置である。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、一般撮像装置３が撮像した平面画像を表示することができる。
なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって一般撮像装置３と通信を行うようにしてもよい。また、スマートフォン５は、通信端末の一例であり、通信端末には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォン５は、画像処理装置、表示装置等と言ってもよい。
一般撮像装置３は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮像装置３には、後述の操作部３１５の一部であるシャッターボタン３１５ａが設けられている。一般撮像装置３とスマートフォン５は無線通信又は有線通信により通信し、一般撮像装置３が撮像した平面画像をスマートフォン５に送信する。
図２（ｂ）は、撮像システム１００の別の構成例を示す。図２（ｂ）に示すように、本実施例の撮像システム１００は、特殊撮像装置１、及び、スマートフォン５を有する。
特殊撮像装置１について詳細は実施例２にて説明するが、特殊撮像装置１は、被写体や風景等を撮像して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラ（撮像装置）である。スマートフォン５については図２（ａ）と同様でよい。
図２（ｃ）はスマートフォン５が単体で平面画像の撮像と画像処理を行う場合の構成例を示す。スマートフォン５は平面画像又は全天球画像を撮像する。なお、スマートフォン５の撮像機能は内蔵されたものでも外付けされたものでもよい。
＜ハードウェア構成＞
次に、図３～図５を用いて、本実施例の特殊撮像装置１、及びスマートフォン５のハードウェア構成を詳細に説明する。
＜特殊撮像装置のハードウェア構成＞
まず、図３を用いて、特殊撮像装置１のハードウェア構成を説明する。図３は、特殊撮像装置１のハードウェア構成図である。以下では、特殊撮像装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮像装置１と同じ機能を有するようにしてもよい。
図３に示されているように、特殊撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０などを有する。
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像のデータを作成する。
撮像制御ユニット１０５は、撮像素子１０３ａをマスタデバイス，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮像装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施例では、特殊撮像装置１にはディスプレイが設けられていないが、ディスプレイを設けてもよい。
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
ＣＰＵ１１１は、特殊撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮像モードや撮像条件などを入力する。
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。
通信部１１７は、特殊撮像装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC(Near Field radio Communication)、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。
電子コンパス１１８は、地球の磁気から特殊撮像装置１の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、全天球画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ１１９は、特殊撮像装置１の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて特殊撮像装置１の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。
＜スマートフォンのハードウェア構成＞
次に、図４を用いて、スマートフォンのハードウェアについて説明する。図４は、スマートフォンのハードウェア構成図である。図４に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、撮像素子Ｉ/Ｆ５０５ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、及び、ＧＰＳ受信部５０９を備えている。
これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御に従って、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。撮像素子Ｉ/Ｆ５０５ａにはＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５が接続されておりＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
また、スマートフォン５は、遠距離通信回路５１１、遠距離通信回路アンテナ５１１ａ、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路アンテナ５１９ａ、及びタッチパネル５２１を備えている。
これらのうち、遠距離通信回路５１１は、通信ネットワークを介して、他の機器と通信する回路である。撮像素子Ｉ／Ｆ５１３は、ＣＭＯＳセンサ５１２の駆動を制御する回路である。撮像素子Ｉ／Ｆ５１３にはＣＭＯＳセンサ５１２が接続されている。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の平面画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、ユーザがディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。
また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ－ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
＜一般撮像装置のハードウェア構成＞
次に、図５を用いて、一般撮像装置３のハードウェアについて説明する。図５は、一般撮像装置３のハードウェア構成図である。図５に示されているように、一般撮像装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。
各構成（３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８）は、それぞれ、特殊撮像装置１における各構成（１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８）と同様の構成であるため、その説明を省略する。
更に、一般撮像装置３の撮像ユニット３０１は、図５に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。
撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行うが、更に、操作部３１５によって受け付けられたユーザの操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。
また、ディスプレイ３１９は、操作メニュー、撮像中又は撮像後の平面画像を表示させる表示手段の一例である。
＜機能構成＞
次に、図６を用いて本実施例の機能構成について説明する。図６は、本実施例の撮像システム１００が有する、特殊撮像装置１、一般撮像装置３及びスマートフォン５の各機能ブロック図である。なお、図６では便宜的に、特殊撮像装置１と一般撮像装置３を共に１つの図に示すが、本実施例では一般撮像装置３が使用され、実施例２では特殊撮像装置１が使用される。
＜特殊撮像装置の機能構成＞
まず、特殊撮像装置１の機能構成について詳細に説明する。図６に示されているように、特殊撮像装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
また、特殊撮像装置１は、図３に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
（特殊撮像装置の各機能構成）
特殊撮像装置１の受付部１２は、主に、図３に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザからの操作又は入力を受け付ける。
撮像部１３は、主に、図３に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、全天球画像データの元になる２つの半球画像データである。
集音部１４は、図３に示されているマイク１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮像装置１の周囲の音を集音する。
画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮像部１３によって得られた撮像画像データ、又は集音部１４によって得られた音データに対して、各種処理を行う。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データに基づいて、正距円筒射影画像データを作成する。
判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行う。
近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部１９は、主に、図３に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（又は情報）を記憶したり、記憶部１０００から各種データ（又は情報）を読み出したりする。
＜スマートフォンの機能構成＞
スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン５は、図４に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。
（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図４に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（特殊撮像装置１等）、スマートフォン、又はサーバとの間で各種データ（又は情報）の送受信を行う。
受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、ユーザから各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。
撮像部５３は、主に、図４に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、透視射影方式で撮像された平面画像データである。
集音部５４は、図４に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。
画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮像部５３によって得られた撮像画像データ、又は集音部５４によって得られた音データに対して、各種処理を行う。本実施形態では音データに関する説明は特に行わない。また、画像・音処理部５５は、露出の異なる複数の平面画像（実施例２では正距円筒射影画像）を合成して明るさを調整する処理を行う。
表示制御部５６は、図４に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮像中又は撮像後の撮像画像データを表示させる。表示制御部５６は、一般撮像装置３が撮像した平面画像、又は、特殊撮像装置１が撮像した全天球画像をディスプレイに表示する。
判断部５７は、図４に示されているＣＰＵ５０１の処理によって実現され、各種判断を行う。
近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及び近距離通信回路アンテナ５１９ａによって実現され、特殊撮像装置１の近距離通信部１８等とWi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部５９は、主に、図４に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、画像データ等の各種データ（又は情報）を記憶したり、記憶部５０００から画像データ等の各種データ（又は情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。
＜一般撮像装置の機能構成＞
一般撮像装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮像装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。
また、一般撮像装置３は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。
（一般撮像装置の各機能構成）
一般撮像装置３の受付部３２は、主に、図５に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、ユーザからの操作入力を受け付ける。
撮像部３３は、主に、図５に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、透視射影方式で撮像された平面画像データである。
集音部３４は、図５に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮像装置３の周囲の音を集音する。
画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮像部３３によって得られた撮像画像データ、又は集音部３４によって得られた音データに対して、各種処理を行う。
表示制御部３６は、図５に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮像中又は撮像後の撮像画像データに係る平面画像を表示させる。
判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行う。例えば、判断部３７は、ユーザによって、シャッターボタン３１５ａが押下されたかを判断する。
近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部３９は、主に、図５に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（又は情報）を記憶したり、記憶部３０００から各種データ（又は情報）を読み出したりする。
＜画像・音処理部の詳細な各機能構成＞
図７を用いて、スマートフォン５の画像・音処理部５５の各機能構成について詳細に説明する。図７は、画像・音処理部５５の詳細な機能ブロック図である。なお、本実施例では、一般撮像装置３又はスマートフォン５が撮像した平面画像の明るさ値又は色値の補正に関する処理を説明する。
画像・音処理部５５は、記録部５５１、画像選択部５５２、画像演算部５５３、注目領域選択スケール部５５４、表示部５５５、統計量取得部５５６、制御部５５７、及び、注目領域選択指示部５６０を有している。
まず、一般撮像装置３が同じ位置で露光条件だけが画像データを撮像し、撮像した複数の画像データをスマートフォンの近距離通信部５８が受信する。記録部５５１には、同じ位置で露光条件だけが異なる複数の画像データが格納される。記録部５５１には例えば、画像全体で適正な露出で撮像された平面画像、露出オーバーで撮像された平面画像、露出アンダーで撮像された平面画像が、それぞれ格納されている。平面画像と共に露光条件も一緒に格納されているとなお良い。
一般撮像装置３は、プログラムＡＥ（Automatic Exposure）、シャッター速度優先ＡＥ、絞り優先ＡＥ、及び、マニュアル露出などの露出に関する設定を有する。プログラムＡＥは露光センサ又は撮像素子が検出した周囲の明るさに応じてシャッター速度と絞りを一般撮像装置３が決定する露出決定方式である。シャッター速度優先ＡＥは、ユーザが決定したシャッター速度に対し適正な露出となる絞り値を一般撮像装置３が決定する露出決定方式である。絞り優先ＡＥは、ユーザが決定した絞り値に対し適正な露出となるシャッター速度を特殊撮像装置１が決定する露出決定方式である。マニュアル露出は、ユーザがシャッター速度と絞り値を決定する。一般撮像装置３はこれらのうちのいずれかで適正な露出の基準画像を撮像する。
また、一般撮像装置３は、絞り値又はシャッター速度の１つ以上を変更して、意図的に露出アンダーな平面画像と露出オーバーな平面画像をそれぞれ１枚以上、撮像する。すなわち、絞り値を大きくするか又はシャッター速度を速くすると暗くなり、絞り値を小さくするか又はシャッター速度を遅くすると明るくなる。
注目領域選択指示部５６０はユーザが操作により決定した指定領域（表示領域の一例）を特定する情報（矩形の対角頂点、中心点と画角など）を取得し、制御部５５７に指定領域を指示する。ユーザが操作により決定する他、注目点が予め決定されていてもよいし、画像処理などで注目点を検出し、この注目点を含む所定の範囲を指定領域に決定してもよい。
制御部５５７は、選択画像決定部５５８と合成手法決定部５５９を有する。このうち、選択画像決定部５５８はまず基準となる平面画像（図１の基準画像に相当）を決定する。記録部５５１に平面画像と共に記録されている露光条件に基づいて決定する。あるいは、統計量取得部５５６が取得した画像データの統計量（例えば明るさの平均が複数の平面画像のうち中央になる平面画像）から決定してもよい。あるいは、ユーザが指定してもよい。本実施例では複数の平面画像の全体のうち適正な露出で撮像された平面画像を基準画像とする。適正な露出とは、例えば、ＲＧＢ値又はＲＧＢから求めた輝度値でヒストグラムを作成した場合に、１２７（２５６段階の真ん中）付近の画素数が多い画像である。自動で決定することでアンダー露出画像とオーバー露出画像のどちらでもない画像を基準画像Ｒに決定できる。
また、選択画像決定部５５８は、基準画像Ｒの指定領域の輝度特性と目標とする明るさ値の比較結果に応じて、アンダー露出の画像又はオーバー露出の平面画像を選択する。
制御部５５７は統計量取得部５５６に対して平面画像のどの領域が指定領域に指定されたのかを通知する。統計量取得部５５６は基準画像のうち指定領域の統計的データを取得して制御部５５７に返す。統計的データは例えば明るさ（輝度値）である。
得られた統計的データを元に選択画像決定部５５８は、基準画像をどの平面画像と合成するかを選択する。選択方法の詳細は後述する。合成手法決定部５５９は基準画像及び合成される他の平面画像をどのくらいの割合で合成するかを決定する。
画像選択部５５２は記録部５５１に記憶された露光条件の異なる複数の平面画像から、選択画像決定部５５８の選択に従い平面画像を１枚以上（例えば２枚）選択する。画像演算部５５３は、画像選択部５５２で選択された複数の平面画像を合成手法決定部５５９で計算された割合で合成する。
注目領域選択スケール部５５４は合成された平面画像の指定領域を表示部５５５の大きさに合わせて拡大・縮小処理し、表示部５５５に出力する。表示部５５５は表示制御部５６が作成するアプリの画面のうち、平面画像のエリアに指定領域を表示する。
＜合成処理の説明＞
図８は、撮像システム１００の全体的な動作を説明するシーケンス図の一例である。
S1：まず、一般撮像装置３の撮像部３３は露光条件の異なる３枚以上の平面画像を撮像する。撮像は、ユーザがシャッターボタンを押下するマニュアルで行われてもよいし、ユーザがスマートフォン５を操作することでスマートフォン５から撮像指示がスマートフォン５に送信されることにより行われてもよい。いずれも場合も一般撮像装置３とスマートフォン５は無線又は有線により通信可能な状態である。
S2：一般撮像装置３の近距離通信部３８は露光条件の異なる３枚以上の平面画像をスマートフォン５に送信する。一般撮像装置３では平面画像をスマートフォン５に送信することが予め設定されている。あるいは、ユーザの操作により送信されてもよい。
S3：スマートフォン５の近距離通信部５８は露光条件の異なる３枚以上の平面画像を受信する。画像・音処理部５５は露光条件の異なる３枚以上の平面画像の少なくとも２枚を用いて明るさ調整を行う。この詳細については図９を用いて後述する。
S4：スマートフォン５の表示制御部５６は明るさが調整された平面画像をディスプレイ５１７に表示する。
なお、スマートフォン５自体が周囲を撮像する図２（ｃ）のシステム構成の場合、一般撮像装置３からスマートフォン５への送信は不要である。
図９は、合成処理に関する画像処理の流れを説明する図の一例である。図９では、適正露出で撮像された基準画像を符号Ｒで示し、別途、異なる露出で撮像された複数枚の平面画像のうち、オーバー露出の平面画像を露出変更画像Ｏ、アンダー露出の平面画像を露出変更画像Ｕで示す。
一般撮像装置３は基準画像Ｒと同じ位置及び画角で露出のみを変更して、１枚以上の露出変更画像Ｏ、及び、１枚以上の露出変更画像Ｕを撮像することが好ましい。少なくとも、基準画像Ｒの露出よりもオーバー露出の露出変更画像Ｏ、又は、アンダー露出の露出変更画像Ｕを撮像する。図９では、基準画像Ｒの露出より、オーバー露出の露出変更画像Ｏ、及び、アンダー露出の露出変更画像Ｕが１枚ずつ示されているが、露出変更画像Ｏが２枚以上でもよいし、露出変更画像Ｕが２枚以上でもよい。
まず、ステップＳ１１０では、統計量取得部５５６が平面画像の指定領域Ｋの明るさの平均値を算出する。
次に、ステップＳ１２０では、選択画像決定部５５８が求められた平均値を元に合成する画像を選択する。基準画像Ｒはすでに決定されたものとする。選択画像決定部５５８は、指定領域Ｋの明るさ（輝度特性）に応じて露出変更画像Ｏ、又は、露出変更画像Ｕのどちらかを選択する。詳細を図１０にて説明する。
ステップＳ１３０では画像演算部５５３が基準画像ＲとステップＳ１２０で選択された露出変更画像Ｏ又は露出変更画像Ｕとを合成する。合成は平面画像の全体で行えばよいが、指定領域Ｋのみで行ってもよい。合成処理の詳細については後述する。
ステップＳ１４０では、注目領域選択スケール部５５４が合成された平面画像の指定領域Ｋをディスプレイ５１７の表示範囲に合わせて拡大又は縮小する。
＜画像の選択の処理＞
図１０は基準画像Ｒに対して、選択画像決定部５５８がどの平面画像を合成するかを決定するステップＳ１２０の処理を説明する図である。
まず、ステップＳ１２１では、選択画像決定部５５８は、例えば、指定領域の目標とする明るさ値と、基準画像Ｒの指定領域全体の明るさ値の平均とを比べる。目標とする明るさ値とは、一例として予め定められているものとする。例えばＲＧＢの各色が８ｂｉｔの場合、２５６階調なので、中間は１２８である。選択画像決定部５５８は、１２８と基準画像Ｒの指定領域全体の明るさ値の平均とを比較する。なお、本実施例では画素値が０～１の値に正規化されているため０．５が目標とする明るさ値（閾値の一例）となる。取り得る明るさの中間値と比較するのでなく、２５６段階の１００や１５０等を目標とする明るさ値としてもよい。
基準画像Ｒの指定領域の明るさ値の平均の方が、目標とする明るさ値より大きい場合、処理はステップＳ１２２に進み、この場合、目標とする明るさ値より基準画像Ｒの指定領域の方がオーバー露出なので、露出変更画像Ｕと合成するために選択画像決定部５５８は露出変更画像Ｕを選択する（Ｓ１２２）。
基準画像Ｒの指定領域の明るさ値の平均の方が、目標とする明るさ値より小さい場合、処理はステップＳ１２３に進み、この場合、目標とする明るさ値より基準画像Ｒの指定領域の方がアンダー露出なので、選択画像決定部５５８は露出変更画像Ｏを選択する。
ここでは例として基準画像Ｒの指定領域の明るさ値の平均を使用したが、指定領域の中央部分など一部だけの明るさ値を使用してもよい。また、明るさ値の平均の代わりにヒストグラム等の明るさの特性値を使用してもよい。
＜平面画像の合成の処理＞
図９のステップＳ１３０の合成処理について説明する。ステップＳ１３０では、画像演算部５５３がステップＳ１２０で選択した露出変更画像Ｏ又は露出変更画像Ｕと基準画像Ｒとの合成を行う。基準画像Ｒの指定領域の明るさ値の平均をｒｅｆ（ｒｅｆは０．０～１．０の値を取る）とし、目標とする明るさ値をａｉｍ（ａｉｍは０．０～１．０の値取る）とすると、合成値ｂｌｅｎｄは以下の（式１）で求められる。
ｂｌｅｎｄ＝｜（ａｉｍ－ｒｅｆ）× 補正係数｜
但し ０．０≦ｂｌｅｎｄ≦１．０にクリップ （式１）
クリップとは、値が範囲未満であれば範囲の下限値に、値が範囲超であれば範囲の上限値にそれぞれ置き換えることをいう。
補正係数は目標とする明るさ値に対して基準画像Ｒの指定領域の明るさ値の平均の離れ具合に応じて（基準画像Ｒの表示領域の輝度特性と目標とする明るさ値との差に応じて）、基準画像Ｒをどのくらい露出変更画像Ｏ、又は、露出変更画像Ｕに近づかせるかを決める値である。補正係数は、予め決まっていてもよいし、平面画像を見てユーザが指定してもよいし、撮像時の露光条件から自動的に計算してもよい。予め決まっている場合、補正係数を例えば３．０とする。
ステップＳ１２０で選択された露出変更画像Ｏ又は露出変更画像Ｕの画素値をＳ、基準画像Ｒの画素値をＲとした場合、合成画像Ｄの各画素値Ｄ(ｕ，ｖ)は下記の（式２）によって求められる。
Ｄ(ｕ，ｖ) ＝ Ｓ(ｕ，ｖ)×blend ＋ Ｒ(ｕ，ｖ)×（１．０－blend） （式２）
＜オーバー側の露出変更画像Ｏ又はアンダー側の露出変更画像Ｕが複数ある場合＞
一例として、オーバー側の露出変更画像Ｏが２枚、アンダー側の露出変更画像Ｕが２枚ある場合について説明する。正距円筒射影画像ＥＣ（参照領域画像Ｒ）を含めると５枚の平面画像がある。それぞれの平面画像の露出を－2.0、-1.0、0.0、+1.0、+2.0とする。この露出の値はＥＶ値であり、+1.0、+2.0がオーバー側、－1.0、-2.0がアンダー側を示している。正距円筒射影画像ＥＣの露出をEv0.0とすると±2.0の露出範囲で撮像した画像を使用する。
合成値ｂｌｅｎｄの求め方は（式１）と同様でよい。ただし、クリップされる値の範囲が異なる。
０．０≦ｂｌｅｎｄ≦２．０にクリップ （式３）
選択画像決定部５５８はオーバー側又はアンダー側に複数の露出変更画像がある場合はクリップの範囲を変更することで、合成値ｂｌｅｎｄに応じて合成する平面画像を切り替える。ここでは説明のため、基準画像Ｒを暗くする場合を説明する。
(i) 0.0 ≦ blend ≦ 1.0 の場合
adj＝blend
I1＝露出が-1.0の平面画像
I2＝露出が0.0の平面画像（基準画像Ｒ） が選択される。
(ii) 1.0 ＜ blend ≦ 2.0 の場合
adj＝blend-1.0
I1＝露出が-2.0の平面画像
I2＝露出が-1.0の平面画像 が選択される。
合成画像Ｄの各画素値Ｄ(ｕ，ｖ)は式４）によって求められる。
Ｄ(ｕ，ｖ) ＝ I1(ｕ，ｖ)×adj ＋ I2(ｕ，ｖ)×（1.0 － adj） （式４）
このように合成値blendが小さい場合（基準画像が明るい場合）は基準画像と次に暗い平面画像を合成し、合成値blendが大きい場合（基準画像がより明るい場合）は基準画像よりも暗い２枚の画像を合成する。これにより、基準画像Ｒを暗くしたい場合は、暗くしたい程度（合成値blend）に応じて基準画像Ｒ及びアンダー側の２枚の平面画像から２枚の平面画像を選択して合成値blendに応じて合成できる。
＜まとめ＞
以上のように、本実施例では、基準画像の指定領域の目標とする明るさ値に対して、基準画像の指定領域の明るさ値の平均の方が小さい場合、すなわち露出アンダーな場合、露出アンダーの程度に応じて露出オーバー画像を基準画像Ｒに合成することで、指定領域のアンダー露出が軽減される。従って、ユーザが見ている指定領域に応じて、適切な明るさにする効果がある。
同様に、基準画像の指定領域の目標とする明るさ値に対して、基準画像の指定領域の明るさ値の平均の方が大きい場合、すなわち露出オーバーな場合、露出オーバーの程度に応じて露出アンダー画像を基準画像Ｒに合成することで、指定領域のオーバー露出が軽減される。従って、ユーザが見ている指定領域に応じて、適切な明るさにする効果がある。
なお、本実施例では基準画像とそれ以外の画像を合成する例を示したが、基準画像以外の複数の平面画像同士を合成してもよい。すなわち、任意の平面画像同士を合成できる。また、本実施例では静止画を例に説明したが、平面画像は動画でもよい。
また、本実施例では、指定された指定領域の明るさが調整されているが、平面画像の全体の明るさが調整されてもよい。この場合、指定領域の指定は不要である。
本実施例では、一度の撮像で、３６０°の全天球画像を得る特殊撮像装置１が撮像する全天球画像の明るさ値を適正に補正する処理について説明する。
なお、本実施例において、実施例１において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
＜全天球画像の生成方法＞
図１１乃至図１７を用いて、全天球画像の生成方法について説明する。
まず、図１１を用いて、特殊撮像装置１の外観を説明する。特殊撮像装置１は、全天球（３６０°）パノラマ画像の元になる撮像画像を得るためのデジタルカメラである。なお、図１１（ａ）は特殊撮像装置１の左側面図であり、図１１（ｂ）は特殊撮像装置の背面図であり、図１１（ｃ）は特殊撮像装置の平面図であり、図１１（ｄ）は特殊撮像装置の底面図である。
図１１（ａ），図１１（ｂ），図１１（ｃ），図１１（ｄ）に示されているように、特殊撮像装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮像装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮像することで、半球画像（画角１８０°以上）を得ることができる。特殊撮像装置１の背面側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮像装置１の側面には、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮像モード切替ボタン１１５ｄは、押下される度に、静止画の撮像モードと動画の撮像モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。
また、特殊撮像装置１の底部１５０の中央には、カメラ用三脚や一般撮像装置３に特殊撮像装置１を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(登録商標。High-Definition Multimedia Interface)端子１５３が設けられている。
次に、図１２を用いて、特殊撮像装置１の使用状況を説明する。なお、図１２は、特殊撮像装置の使用イメージ図である。特殊撮像装置１は、図１２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図１２に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。
次に、図１３及び図１４を用いて、特殊撮像装置１で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図１３（ａ）は特殊撮像装置１で撮像された半球画像（前側）、図１３（ｂ）は特殊撮像装置で撮像された半球画像（後側）、図１３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図１４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図１４（ｂ）は全天球画像を示した図である。
図１３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図１３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮像装置１によって合成され、図１３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
そして、OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、図１４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図１４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions) 及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図１５及び図１６を用いて説明する。
なお、図１５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥを見るユーザの視点の位置に相当するものである。また、図１６（ａ）は図１５の立体斜視図、図１６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図１６（ａ）では、図１５に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図１５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。従って、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１７参照）。
そして、図１６（ａ）に示されている所定領域画像Ｑは、図１６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の一部の画像（全体を含む場もある）として表示される。図１６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮像方向（ea，aa）と画角（α）を用いて説明する。
次に、図１７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図１７は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図１７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮像方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１７では、一般的に以下の（式５）で示される三角関数が成り立つ。
Ｌ／ｆ＝ｔａｎ（α／２）・・・（式５）
＜画像・音処理部の機能について＞
図１８は、本実施例に適応可能な画像・音処理部の一例の構成を示すブロック図である。図１８では全天球画像をディスプレイ５１７に表示するため画像・音処理部５５が射影方式変換部２０１，２０２（以下、簡単のため射影方式変換部１，２という）、及び、全天球画像生成部２０５，２０６（以下、簡単のため全天球画像生成部１，２という）を有する。
まず、記録部５５１には特殊撮像装置１が同じ位置で撮像した露光条件だけが異なる複数の正距円筒射影方式の画像データが格納されている。記録部５５１には画像全体で適正な露出で撮像された正距円筒射影方式画像、露出オーバーで撮像された正距円筒射影方式画像、露出アンダーで撮像された正距円筒射影方式画像が、それぞれ格納されている。正距円筒射影方式画像と共に露光条件も一緒に格納されていることが好ましい。特殊撮像装置１には絞り機構がないため、絞り優先ＡＥはなく代わりにＩＳＯ感度優先ＡＥがある。ＩＳＯ感度優先ＡＥでは、ユーザが決定したＩＳＯ感度でシャッター速度を遅くすることで露出オーバー画像を、シャッター速度を速くすることで露出アンダー画像をそれぞれ撮像する。また、シャッター速度優先ＡＥでは、ユーザが決定したシャッター速度でＩＳＯ感度を大きくすることで露出オーバー画像を、ＩＳＯ感度を小さくすることで露出アンダー画像をそれぞれ撮像できる。
視線方向・画角指示部２０３は、ユーザが操作により決定した所定領域Ｔ（表示領域の一例）を特定する情報を取得し、制御部５５７に所定領域Ｔを指示する。ユーザが操作により決定する他、注目点が予め決定されていてもよいし、画像処理などで注目点が検出され所定領域Ｔが決定されてもよい。
選択画像決定部５５８は基準となる正距円筒射影画像（基準画像Ｒ）を決定する。また、基準画像Ｒと合成するための、露出オーバーで撮像された正距円筒射影方式画像又は露出アンダーで撮像された正距円筒射影方式画像を選択する。基準画像Ｒの決定方法、及び、正距円筒射影画像の選択方法は実施例１と同様でよい。制御部５５７は選択画像決定部５５８と合成手法決定部５５９を有している。これらの機能は実施例１と同様でよい。
制御部５５７は射影方式変換部１に対して全天球画像ＣＥのどの視線方向と画角が指定されたかを通知する。射影方式変換部１は指定された視線方向と画角を元に、記録部５５１に格納された基準とする正距円筒射影方式画像を所定領域画像に変換する。所定領域画像への変換方法（射影方式変換）については後述する。
統計量取得部５５６は変換された所定領域画像の統計的なデータを取得して、制御部５５７に返す。選択画像決定部５５８は得られた統計的データを元に基準画像Ｒ以外にどの画像と基準画像Ｒとを合成するかを選択する。統計的データについては実施例１と同様でよい。
合成手法決定部５５９は基準画像Ｒと、露出オーバーの画像又は露出アンダーの正距円筒射影画像とをどのくらいの割合で合成するかを決定する。画像選択部５５２は選択画像決定部５５８の指示に従い、正距円筒射影画像を少なくとも２枚以上選択する（基準画像Ｒと、露出オーバー画像又は露出アンダー画像の２枚）。
画像演算部５５３は、画像選択部５５２で選択された正距円筒射影画像を合成手法決定部５５９で決定された割合で合成する。
全天球画像生成部２は基準画像Ｒに露出オーバー画像又は露出アンダー画像が合成された合成画像を立体球ＣＳに貼り合わせることにより、全天球画像ＣＥを作成する。
射影方式変換部２は合成された正距円筒射影画像を指定された視線方向及び画角で透視射影方式画像（所定領域画像）に変換し表示部５５５に出力する。表示部５５５の機能は実施例１と同様である。
＜正距円筒射影画像を用いた処理の流れ＞
図１９は、正距円筒射影画像を用いた処理の流れを模式的に示す図の一例である。図１９では正距円筒射影画像ＥＣを基準画像Ｒとし、異なる露出で撮像された複数枚の正距円筒射影画像（図ではＥＣ１，ＥＣ２）が撮像されている。特殊撮像装置１は正距円筒射影画像ＥＣと同じ位置（全天球画像であるため特殊撮像装置１の向きは異なってもよい）で露出のみを変更して複数枚の正距円筒射影画像ＥＣ１、正距円筒射影画像ＥＣ２を撮像することが好ましい。
少なくとも、正距円筒射影画像ＥＣの露出よりもオーバー露出の正距円筒射影画像ＥＣ１、アンダー露出の正距円筒射影画像ＥＣ２が必要である。図１９では、正距円筒射影画像ＥＣの露出より、オーバー露出の正距円筒射影画像ＥＣ１、及び、アンダー露出の正距円筒射影画像ＥＣ２が示されているが、オーバー露出の正距円筒射影画像ＥＣ１が２枚以上あってもよいし、アンダー露出の正距円筒射影画像ＥＣ２が２枚以上あってもよい。
まず、ステップＳ２１０では、全天球画像生成部１がまだ合成されていない正距円筒射影画像ＥＣを立体球ＣＳに対して張り付けることで全天球画像ＣＥを作成する。
ステップＳ２２０では、視線方向・画角指示部２０３が指示した視線方向（中心点）・画角等で指定される所定領域Ｔが表示範囲に表示されるように、射影方式変換部１が射影方式変換する。これにより作成された二次元平面の画像を参照領域画像Ｒとする。
ステップＳ１２０では、選択画像決定部５５８が参照領域画像Ｒの全体の明るさ値の平均値と目標とする明るさ値とを比較して、正距円筒射影画像ＥＣと合成する異なる露出で撮像された正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２を選択する。選択方法は実施例１と同様でよい。
ステップＳ１３０では、画像演算部５５３が基準とする正距円筒射影画像ＥＣとステップＳ１２０で選択された正距円筒射影画像ＥＣ１、又は、正距円筒射影画像ＥＣ２とを合成して合成画像Ｄを生成する。合成方法は実施例１と同様でよい。
ステップＳ２３０では、全天球画像生成部２がステップＳ２１０と同様に合成画像Ｄを立体球ＣＳに対して張り付けることで全天球画像ＣＥ１又はＣＥ２を作成する。
ステップＳ２４０では、ステップＳ２２０と同様に、視線方向（中心点）・画角等で指定される所定領域Ｔを表示範囲に合わせて二次元平面の画像に変換するため、射影方式変換部２が射影方式を変換する。
表示部５５５は作成された二次元平面の画像を所定領域画像Ｑとして表示制御部５６に出力する。従って、ディスプレイ５７１には基準画像である全天球画像ＣＥと露出オーバーな正距円筒射影画像ＥＣ１又は露出アンダーな正距円筒射影画像ＥＣ２が合成された二次元平面の画像が表示される。
なお、図１９では、正距円筒射影画像ＥＣを立体球ＣＳに対して貼り付け全天球画像ＣＥを作成したのち射影方式変換で参照領域画像Ｒを作成しているが、正距円筒射影画像ＥＣ上で参照領域に対応する領域を求めてもよい。
＜射影方式の変換＞
射影方式の変換について説明する。図１９を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部１，２による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直交座標（ｘ，ｙ，ｚ）で表わすと、以下の（式６）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa), cos(ea) × sin(aa), sin(ea)) ・・・(式６)
但し、このときの立体球ＣＳの半径は１とする。
一方で、透視射影画像である参照領域画像Ｒ又は所定領域画像Ｑは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角α/2)となる。また、参照領域画像Ｒ又は所定領域画像Ｑを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式７）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式７)
次に、（式７）を３次元の座標（動径，極角，方位角）に対応させることを考えると、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視投影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考え、上記の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式８）、（式９）で表わすことができる。
r = tan(極角) ・・・（式８）
a = 方位角 ・・・（式９）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。また３次元極座標から、直交座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式１０）で表わすことができる。
(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式１０）
上記の（式１０）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による参照領域画像Ｒ又は所定領域画像Ｑの相互変換ができる。即ち、作成すべき参照領域画像Ｒ又は所定領域画像Ｑの対角画角αに対応する動径rを用いることで、参照領域画像Ｒ又は所定領域画像Ｑの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である参照領域画像Ｒ又は所定領域画像Ｑを作成することができる。
上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である参照領域画像Ｒ又は所定領域画像Ｑの中心点ＣＰとなるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視投影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
＜画像例＞
図２０は、基準となる正距円筒射影画像と露出アンダーな正距円筒射影画像との合成を説明する図の一例である。
図２０（ａ）は、正距円筒射影画像ＥＣの明るさ値のまま表示された参照領域画像Ｒを示す。図面からは分かりにくいが中央部分が黒つぶれしている。図２０（ｂ）は、オーバー露出で撮像された正距円筒射影画像ＥＣ１を示す。中央部の露出がほぼ適正である。図２０（ｃ）は、本実施例の合成方法を用いて正距円筒射影画像ＥＣとＥＣ１とが合成された所定領域画像Ｑである。所定領域画像Ｑは中央部分の黒つぶれが改善されている。このように、参照領域画像Ｒの明るさに応じて基準画像と露出オーバーの正距円筒射影画像ＥＣ１と合成することにより、所定領域画像Ｑのアンダー露出が低減される。
図２１は、基準となる全天球画像と露出オーバーな全天球画像との合成を説明する図の一例である。
図２１（ａ）は、図２０（ａ）と同様に正距円筒射影画像ＥＣの明るさ値のまま表示された参照領域画像Ｒを示す。中央部分が白とびしている。図２１（ｂ）は、アンダー露出で撮像された正距円筒射影画像ＥＣ２を示す。図２１（ｂ）では中央部の露出がほぼ適正である。図２１（ｃ）は、本実施例の合成方法を用いて、正距円筒射影画像ＥＣとＥＣ２が合成された所定領域画像Ｑを示す。所定領域画像Ｑは中央部分の白とびが改善されている。参照領域画像Ｒの明るさに応じてアンダー画像と合成することにより、所定領域画像Ｑのオーバー露出が低減されている。
なお、本実施例では基準となる正距円筒射影画像ＥＣとそれ以外の正距円筒射影画像ＥＣ１又はＥＣ２とを合成する例を説明したが、基準となる正距円筒射影画像ＥＣ以外の正距円筒射影画像同士を合成しても良い。また、本実施例では静止画を例に説明したが、正距円筒射影画像は動画でもよい。
＜まとめ＞
このように、３６０°の全天球画像を得る特殊撮像装置１が撮像した全天球画像の場合、スマートフォン５は視線方向（中心角）と画角により決定される参照領域画像Ｒの明るさ値によってアンダー側又はオーバー側の正距円筒射影画像を選択でき、所定領域画像Ｑの露出を適切に調整できる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、スマートフォン５がネットワークを介してサーバに画像データを送信し、サーバが指定領域の画像又は所定領域画像を作成してスマートフォン５に送信してもよい。この場合、サーバは実施例１，２で説明したスマートフォン５の機能の一部又は全体を有する。
また、図６，図７，図１８などの構成例は、一般撮像装置３、特殊撮像装置１、及びスマートフォン５による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。一般撮像装置３、特殊撮像装置１、及びスマートフォン５の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
なお、近距離通信部５８は画像取得手段の一例であり、受付部５２は受付手段の一例であり、統計量取得部５５６は輝度特性取得手段の一例であり、合成手法決定部５５９と画像演算部５５３は合成手段の一例であり、選択画像決定部５５８は選択手段の一例であり、射影方式変換部１は射影方式変換手段の一例であり、表示部５５５は表示手段の一例である。スマートフォン５は画像処理装置又は表示装置の一例であり、スマートフォン５が行う各種の処理の方法は画像処理方法の一例である。
１ ：特殊撮像装置
３ ：一般撮像装置
５ ：スマートフォン
１００ ：撮像システム
特許第5745134号公報

Claims (10)

  1. 異なる露光条件で撮像して得られた複数の画像データを取得する画像取得手段と、
    前記複数の画像データのうち一の画像データの表示領域を受け付ける受付手段と、
    前記受付手段が受け付けた前記表示領域の輝度特性を取得する輝度特性取得手段と、
    前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する合成手段と、
    異なる露光条件で撮像された複数の前記他の画像データの中から、前記輝度特性取得手段が取得した前記輝度特性に基づき１つ以上の前記他の画像データを選択する選択手段と、
    前記異なる露光条件で撮像して得られた複数の画像データは全天球画像であり、
    前記受付手段は、前記全天球画像の視線方向と画角の指定を受け付け、
    前記受付手段が受け付けた視線方向と画角の前記一の画像に射影方式変換を施し、所定領域の参照領域画像を生成する射影方式変換手段と、
    を有し、
    前記合成手段は、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと前記選択手段が選択した前記他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するものであり、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性に基づき、全天球画像である前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する
    画像処理装置。
  2. 前記選択手段は、前記輝度特性取得手段が取得した前記一の画像の前記表示領域の輝度特性と予め定められた閾値とを比較した比較結果に応じて、異なる露光条件で撮像された複数の前記他の画像データの中から１つ以上の前記他の画像データを選択する請求項１に記載の画像処理装置。
  3. 前記選択手段は、前記一の画像の前記表示領域の輝度特性の方が前記閾値よりも大きい場合、前記一の画像よりも露出が小さい前記他の画像を選択し、
    前記一の画像の前記表示領域の輝度特性の方が前記閾値よりも小さい場合、前記一の画像よりも露出が大きい前記他の画像を選択する請求項２に記載の画像処理装置。
  4. 前記合成手段は、前記一の画像の前記表示領域の輝度特性と前記閾値との差に応じて所定の条件を変更して、前記一の画像データと他の画像データを合成する請求項２又は３に記載の画像処理装置。
  5. 前記所定の条件は、前記一の画像と前記他の画像の合成比率である請求項１～４のいずれか１項に記載の画像処理装置。
  6. 前記選択手段は、異なる露光条件で撮像して得られた複数の画像データの輝度に関する情報に基づいて前記一の画像を選択する請求項１～５のいずれか１項に記載の画像処理装置。
  7. 前記合成手段は、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性と予め定められた閾値とを比較した比較結果に応じて、複数の前記他の画像データの中から１つ以上の前記他の画像データを選択する請求項１に記載の画像処理装置。
  8. 異なる露光条件で撮像して得られた複数の画像データを取得する画像取得手段と、
    前記複数の画像データのうち一の画像データの表示領域を受け付ける受付手段と、
    前記受付手段が受け付けた前記表示領域の輝度特性を取得する輝度特性取得手段と、
    前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する合成手段と、
    異なる露光条件で撮像された複数の前記他の画像データの中から、前記輝度特性取得手段が取得した前記輝度特性に基づき１つ以上の前記他の画像データを選択する選択手段と、
    前記合成手段が前記他の画像データを合成した前記一の画像データの前記表示領域を画面に表示する表示手段と、
    前記異なる露光条件で撮像して得られた複数の画像データは全天球画像であり、
    前記受付手段は、前記全天球画像の視線方向と画角の指定を受け付け、
    前記受付手段が受け付けた視線方向と画角の前記一の画像に射影方式変換を施し、所定領域の参照領域画像を生成する射影方式変換手段と、
    を有し、
    前記合成手段は、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと前記選択手段が選択した前記他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するものであり、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性に基づき、全天球画像である前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する
    表示装置。
  9. 画像取得手段が、異なる露光条件で撮像して得られた複数の画像データを取得するステップと、
    受付手段が、前記複数の画像データのうち一の画像データの表示領域を受け付けるステップと、
    輝度特性取得手段が、前記受付手段が受け付けた前記表示領域の輝度特性を取得するステップと、
    合成手段が、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するステップと、
    選択手段が、異なる露光条件で撮像された複数の前記他の画像データの中から、前記輝度特性取得手段が取得した前記輝度特性に基づき１つ以上の前記他の画像データを選択するステップと、
    前記異なる露光条件で撮像して得られた複数の画像データは全天球画像であり、
    前記受付手段は、前記全天球画像の視線方向と画角の指定を受け付け、
    前記受付手段が受け付けた視線方向と画角の前記一の画像に射影方式変換を施し、所定領域の参照領域画像を生成する射影方式変換ステップと、
    を有し、
    前記合成手段は、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと前記選択手段が選択した前記他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するものであり、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性に基づき、全天球画像である前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する
    画像処理方法。
  10. 情報処理装置を、
    異なる露光条件で撮像して得られた複数の画像データを取得する画像取得手段と、
    前記複数の画像データのうち一の画像データの表示領域を受け付ける受付手段と、
    前記受付手段が受け付けた前記表示領域の輝度特性を取得する輝度特性取得手段と、
    前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する合成手段と、
    異なる露光条件で撮像された複数の前記他の画像データの中から、前記輝度特性取得手段が取得した前記輝度特性に基づき１つ以上の前記他の画像データを選択する選択手段と、
    前記異なる露光条件で撮像して得られた複数の画像データは全天球画像であり、
    前記受付手段は、前記全天球画像の視線方向と画角の指定を受け付け、
    前記受付手段が受け付けた視線方向と画角の前記一の画像に射影方式変換を施し、所定領域の参照領域画像を生成する射影方式変換手段、
    として機能させ、
    前記合成手段は、前記輝度特性取得手段が取得した前記輝度特性に基づき、前記一の画像データと前記選択手段が選択した前記他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成するものであり、前記輝度特性取得手段が取得した前記参照領域画像の前記輝度特性に基づき、全天球画像である前記一の画像データと他の画像データを合成するための所定の条件を変更して、前記一の画像データと他の画像データを合成する
    プログラム。
JP2017208676A 2017-10-27 2017-10-27 画像処理装置、表示装置、画像処理方法、プログラム Active JP7135299B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017208676A JP7135299B2 (ja) 2017-10-27 2017-10-27 画像処理装置、表示装置、画像処理方法、プログラム
US16/648,150 US11284014B2 (en) 2017-10-27 2018-10-24 Image processing apparatus, image capturing system, image processing method, and recording medium
CN201880069286.5A CN111279387A (zh) 2017-10-27 2018-10-24 图像处理设备，图像捕获系统，图像处理方法和记录介质
EP18800776.9A EP3701493A1 (en) 2017-10-27 2018-10-24 Image processing apparatus, image capturing system, image processing method, and recording medium
PCT/JP2018/039479 WO2019082925A1 (en) 2017-10-27 2018-10-24 IMAGE PROCESSING APPARATUS, IMAGE CAPTURE SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017208676A JP7135299B2 (ja) 2017-10-27 2017-10-27 画像処理装置、表示装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2019082768A JP2019082768A (ja) 2019-05-30
JP7135299B2 true JP7135299B2 (ja) 2022-09-13

Family

ID=64270930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017208676A Active JP7135299B2 (ja) 2017-10-27 2017-10-27 画像処理装置、表示装置、画像処理方法、プログラム

Country Status (5)

Country Link
US (1) US11284014B2 (ja)
EP (1) EP3701493A1 (ja)
JP (1) JP7135299B2 (ja)
CN (1) CN111279387A (ja)
WO (1) WO2019082925A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
WO2019118319A1 (en) 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
TWI731464B (zh) * 2019-11-06 2021-06-21 大陸商廣州印芯半導體技術有限公司 串列周邊介面的被控端電路的影像感測器與其中的像素陣列電路
EP3829159A1 (en) 2019-11-29 2021-06-02 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control, and carrier means
CN111885285B (zh) * 2020-06-29 2021-11-23 维沃移动通信（杭州）有限公司 图像拍摄方法及电子设备
WO2022014250A1 (ja) * 2020-07-14 2022-01-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
EP4016464A1 (en) 2020-11-26 2022-06-22 Ricoh Company, Ltd. Apparatus, system, method, and carrier means
JP2022084116A (ja) * 2020-11-26 2022-06-07 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5745134B2 (ja) 2014-04-23 2015-07-08 キヤノン株式会社 画像出力装置、表示装置、画像出力方法、およびプログラム
JP2017038165A (ja) 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5260904A (en) 1975-11-14 1977-05-19 Hitachi Ltd Air gap regulator in rotary machine
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
JP5409577B2 (ja) 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5787648B2 (ja) * 2011-07-11 2015-09-30 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US9807322B2 (en) * 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP2014165710A (ja) 2013-02-26 2014-09-08 Ricoh Imaging Co Ltd 画像表示装置
CN105659287B (zh) 2013-08-28 2018-08-17 株式会社理光 图像处理装置、图像处理方法和成像系统
CN107534737B (zh) * 2015-08-31 2020-11-17 华为技术有限公司 一种拍摄图片的方法及装置
US9998720B2 (en) * 2016-05-11 2018-06-12 Mediatek Inc. Image processing method for locally adjusting image data of real-time image
KR102620013B1 (ko) 2016-07-01 2024-01-02 삼성디스플레이 주식회사 유기 발광 표시 장치 및 유기 발광 표시 장치의 제조방법
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
CN108259782A (zh) 2016-12-28 2018-07-06 株式会社理光 图像处理装置、摄影系统、图像处理方法
CN108259717A (zh) 2016-12-28 2018-07-06 株式会社理光 联动装置、摄影系统、摄影方法
US10437545B2 (en) 2016-12-28 2019-10-08 Ricoh Company, Ltd. Apparatus, system, and method for controlling display, and recording medium
US10681271B2 (en) 2017-03-15 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5745134B2 (ja) 2014-04-23 2015-07-08 キヤノン株式会社 画像出力装置、表示装置、画像出力方法、およびプログラム
JP2017038165A (ja) 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法

Also Published As

Publication number Publication date
JP2019082768A (ja) 2019-05-30
WO2019082925A1 (en) 2019-05-02
US20200280669A1 (en) 2020-09-03
EP3701493A1 (en) 2020-09-02
CN111279387A (zh) 2020-06-12
US11284014B2 (en) 2022-03-22
WO2019082925A9 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
JP7135299B2 (ja) 画像処理装置、表示装置、画像処理方法、プログラム
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
EP2860957B1 (en) Image capturing device, image capturing method and computer-readable recording medium
EP2860963B1 (en) Image generation device, and image generation method
JP5828038B2 (ja) 画像撮像装置および画像撮像方法
US20190340737A1 (en) Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP6151809B2 (ja) 画像撮像装置および画像撮像方法
US11006042B2 (en) Imaging device and image processing method
CN110881097B (zh) 显示控制设备、控制方法和计算机可读介质
CN105210362B (zh) 图像调整设备、图像调整方法和图像捕获设备
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
JP2015126389A (ja) 撮像装置およびその制御方法
JP2020096349A (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP2018157538A (ja) プログラム、撮像システム、情報処理装置
JP2020123837A (ja) 撮像装置、撮像方法およびプログラム
EP3829159A1 (en) Image capturing device, image communication system, and method for display control, and carrier means
US11122202B2 (en) Imaging device, image processing system, and image processing method
US20200412928A1 (en) Imaging device, imaging system, and imaging method
WO2018124268A1 (en) Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP2020096350A (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151