JP7052811B2 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。

従来、携帯型のスマートフォン等の情報処理端末では、小型化、薄型化の要請から撮像部の画像性能が一眼レフカメラ等に比べて低下している。このため、例えば下記の特許文献１には、情報処理端末に対して着脱可能なカメラで生成された撮像画を、無線通信で情報処理端末に供給することが記載されている。また、下記の特許文献２には、複数の撮像部を設けて、画質の異なる複数の画像、例えば第１の画角と第２の画角よりも狭い第２の画角の画像を同時に生成することが記載されている。

特開２０１５－０８８８２４号公報 特開２０１３－２１９５２５号公報

デジタルカメラなどの感度を高める方法として、レンズ口径または撮像素子のセルサイズを大きくする方法がある。しかし、この方法では、撮像素子の小型化、薄型化をする上で障壁がある。

一方、感度の高い白黒の撮像素子から得られる白黒画像と、Ｂａｙｅｒ配列の撮像素子から得られるカラー画像とを合成することで、感度の高い画像を取得することを想定した場合、白黒画像を基準としたモードと、カラー画像を基準としたモードでは、視点位置に差異が生じてしまう。また、この場合、白黒画像を基準としたモードと、カラー画像を基準としたモードでは、それぞれの撮像素子の特性の相違等に起因して、輝度や色味に相違が生じる。従って、モードが遷移する際に、ユーザが視認する被写体画像に変化が生じ、ユーザに違和感を与える可能性がある。特に、動画を撮影する場合、これらのモードがリアルタイムで遷移すると、ユーザに違和感を与える可能性が高くなる。

そこで、複数の撮像素子から得られる画像を合成する際に、モードの遷移に伴う違和感を抑制することが求められていた。

本開示によれば、同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成する合成処理部と、所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を備える、画像処理装置が提供される。

また、本開示によれば、同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成することと、所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定されることと、を備える、画像処理方法が提供される。

また、本開示によれば、白黒画像を撮像する第１の撮像装置と、カラー画像を撮像する第２の撮像装置と、前記白黒画像の画像情報と前記カラー画像の画像情報を合成する合成処理部と、所定の変数に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を有する、画像処理装置と、を備える、画像処理システムが提供される。

以上説明したように本開示によれば、複数の撮像素子から得られる画像を合成する際に、モードの遷移に伴う違和感を抑制することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る撮像装置の概略構成を示す模式図である。 合成モードの例を示す模式図である。 モードＡ、モードＢ、モードＣのそれぞれについて、白黒画像とカラー画像を合成した場合の効果（輝度のＳ／Ｎ比、解像感）、合成画の破綻の度合い、を示す模式図である。 モードＢとモードＣで行われる位置合わせの処理を示す模式図である。 撮像部１００と撮像部１１０の位置の違いに起因する、カラー画像と白黒画像の視差とオクルージョンを示す模式図である。 ＩＳＯ感度に応じてモードを遷移させる様子を示す模式図である。 カラー画像を撮像する撮像装置と白黒画像を撮像する撮像装置を画像処理装置とは別に構成した画像処理システムの構成を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成例
２．合成モードの具体例
３．モード遷移のための切り換え閾値について
４．モード遷移のための他のパラメータについて
５．画像処理システムの構成例

１．画像処理装置の構成例
まず、図１を参照して、本開示の一実施形態に係る画像処理装置（撮像装置）１０００の概略構成について説明する。画像処理装置１０００は、デジタルカメラなどの撮像装置、スマートフォンやタブレット端末などの電子機器に備えられる。画像処理装置１０００は、二眼の撮像部１００，１１０を有している。撮像部１００，１１０のそれぞれは、撮像素子と光学レンズなどの光学系を備える。光学系は、ズーム光学系、フォーカス光学系を含むものであって良く、ズーム倍率やフォーカス位置を変更できるものであっても良い。

撮像部１００と撮像部１１０のそれぞれが備える撮像素子は、ＣＭＯＳイメージセンサ等から構成され、レンズにより取り込まれた光の光電変換を行い、撮像画の画像データを生成する。撮像部１００の撮像素子は、カラー画像を撮像する。一方、撮像部１１０の撮像素子は、白黒（Ｂ／Ｗ）画像を撮像する。本実施形態において、撮像部１００、撮像部１１０は、静止画及び動画を撮像することができる。

カラー画像を撮像する撮像部１００の撮像素子は、ベイヤ配列のカラーフィルタを用いる。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、撮像部１００の撮像素子は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されており、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー画像の画像データを生成する。ベイヤ配列の画像データは、デモザイク処理により同色間の画素を補間生成することでフルカラーの画像データを生成するため、実質解像感が低下する。また、モアレや迷路ノイズ等のアーティファクトを生成することがある。

一方、撮像部１１０の撮像素子は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部１１０の撮像素子は、白黒画像の画像データを生成する。また、撮像部１１０の撮像素子は、Ｗ（ホワイト）画素でのみ形成されているため、デモザイク処理を施す必要がなく、撮像部１００の撮像素子よりも解像感が高く、アーティファクトの少ない画像データを得ることができる。

前述したように、デジタルカメラなどの感度を高める方法として、レンズ口径または撮像素子のセルサイズを大きくする方法がある。しかし、この方法では、撮像素子の小型化、薄型化をする上で障壁がある。本実施形態の画像処理装置１０００では、撮像素子の小型化を維持しながら感度を高めるため、複数カメラの画像を合成する。具体的に、感度の高い白黒の撮像素子から得られる白黒画像と、Ｂａｙｅｒ配列の撮像素子から得られるカラー画像とを合成し、感度の高い画像を取得する。

図１に示すように、画像処理装置１０００は、二眼の撮像部１００，１１０に加え、前処理部２００，２１０、合成処理部３００、露出制御部４００、合成モード判定部５００、後処理部６００、を有して構成されている。

前処理部２００は、撮像部１００で撮像されたカラー画像の画像データに対し、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部２００は、補正後のカラー画像データを合成処理部３００へ出力する。

前処理部２１０は、撮像部１１０で撮像された白黒画像の画像データに対し、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部２１０は、補正後の白黒画像データを合成処理部３００へ出力する。

露出制御部４００は、画像の露出制御を全般的に行う他、被写体画像の明るさに基づいてＩＳＯ感度を決定し、合成モード判定部５００へ出力する。ＩＳＯ感度は、被写体画像の明るさを示す指標であり、撮像部１００，１１０のレンズから入ってきた光を、画像処理装置１０００でどのくらい増幅させるかの指標となる。例えば、ＩＳＯ２００はＩＳＯ１００の２倍感度が高いことを示し、ＩＳＯ２００の場合は、ＩＳＯ１００の時に比べて光の量が半分の場所でも同じ明るさの画像（写真）を得ることが可能である。

具体的に、露出制御部４００は、前処理部２００で得られた統計情報（検波値）に基づいて、適正露光で撮像するためのＩＳＯ感度を決定する。この際、被写体画像が暗いほどＩＳＯ感度が高くなるようにＩＳＯ感度を決定する。露出制御部４００は、撮像部１１０から得られる白黒画像に基づいて被写体画像の明るさを判定し、ＩＳＯ感度を決定することもできる。また、露出制御部４００は、前処理部２００で得られた統計情報（検波値）に基づいて、適正露光で撮像するためのシャッター速度（Ｆ値）を決定することもできる。

合成処理部３００は、撮像部１００が撮像したカラー画像と撮像部１１０が撮像した白黒画像を合成（フュージョン（統合））する。合成モード判定部５００は、合成処理部３００が白黒画像とカラー画像を合成する際に、ＩＳＯ感度に基づいて合成モードを変更する。合成処理部３００は、合成モードにもとづいて、カラー画像と白黒画像の合成処理を行う。合成モード判定部５００は、スタインバイ動画の撮像時に録画が開始されると、録画を開始した旨の情報（録画開始情報）に基づいて、録画中のモードを録画開始時のモードに固定しても良い。

２．合成モードの具体例
図２は、合成モードの例を示す模式図である。図２では、モードＡ、モードＢ、モードＣの３つのモードを示している。モードＡは、撮像部１００が備えるＢａｙｅｒ配列の撮像素子による単眼のみで撮像を行うモードである。つまり、モードＡでは、カラー画像と白黒画像の合成は行われない。

モードＢは、撮像部１００が撮像したカラー画像を基準に、撮像部１１０が撮像した、カラー画像に対して類似度の高い白黒画像の輝度を足し込むことで、画像のＳ／Ｎ比を改善するモードである。モードＣは、白黒画像の輝度を基準にして、カラー撮像画像の色成分を足し込むことで画像のＳ／Ｎ比を改善するモードである。例えば、暗い被写体を撮像部１００と撮像部１１０で撮像した場合に、撮像部１１０が撮像した白黒画像の方が、撮像部１００が撮像したカラー画像よりもＳ／Ｎ比が良好になる。従って、白黒画像の輝度を用いることで、Ｓ／Ｎ比を改善することができ、暗い被写体であっても明るい画像として撮像することができる。

本実施形態では、露出制御部４００が決定したＩＳＯ感度に基づいて、ＩＳＯ感度が大きいほどモードＡ→モードＢ→モードＣのようにモードの遷移を行う。被写体の輝度が低い場合であっても、モードＢ、モードＣにより合成処理を行うことで、輝度のＳ／Ｎ比を改善することが可能である。

図３は、モードＡ、モードＢ、モードＣのそれぞれについて、カラー画像と白黒画像を合成した場合の効果（Ｓ／Ｎ比、解像感、合成画の破綻の度合い）を示す模式図である。被写体が暗く、ＩＳＯ感度を高くする場合、モードＡで撮像した画像は暗くなり、Ｓ／Ｎ比、解像感が低下する。このような場合、モードＢ、モードＣを用いることで、Ｓ／Ｎ比、及び解像感を改善することができる。

図３に示すように、モードＢは、モードＡに対してＳ／Ｎ比は改善するが、その改善効果は小さい。また、モードＢは、モードＡに対して解像感は同等である。また、モードＢでは、画像データの誤りや信号の歪み（以下、アーティファクト（Ａｒｔｉｆａｃｔ）という）の発生度合いも小さく、画像の破綻はほぼ生じない。

モードＣは、モードＢ対して更にＳ／Ｎ比の改善効果が大きい。また、モードＣは、モードＡに対して解像感も改善される。一方、モードＣでは、アーティファクトの発生度合いも大きくなり、画像の破綻はモードＢよりも多くなる。また、モードＣは、白黒画像を基準とするため、モードＡ及びモードＢに対して、視差分の視点移動が発生する。

なお、アーティファクトの発生要因としては、例えば、カラー画像と白黒画像の視差が大きすぎるため両者を合成可能なズレ量を超えてしまう、オクルージョンの情報が無いために合成処理ができず誤った色が合成されてしまう、輝度情報を用いた位置ベクトルの算出に失敗し適切な位置に色が合成されない、等が挙げられる。いずれの場合もアーティファクトの発生により色ずれが生じる。

以上のように、モードＣは、Ｓ／Ｎ比、解像感の改善効果は大きいが、画像の破綻も多くなり、ハイリスク・ハイリターンのモードであるといえる。一方、モードＢは、Ｓ／Ｎ比、解像感の改善効果は低いが、画像の破綻が少なく、ローリスク・ローリターンのモードであるといえる。換言すれば、ＩＳＯ感度が上がるほど、ハイリスク・ハイリターンになる。

図４は、モードＢとモードＣで行われる位置合わせの処理を示す模式図である。図４に示す被写体１５００を撮像した際に、二眼モジュールを構成する撮像部１００と撮像部１１０の位置は完全に一致しない。このため、白黒画像８１０とカラー画像８００には視差が生じる。モードＢでは、カラー画像８００を基準とし、白黒画像８１０の位置をカラー画像８００に合わせる。一方、モードＣでは、白黒画像８１０を基準とし、カラー画像８００の位置を白黒画像に合わせる。このため、モードＢとモードＣの間でモードが遷移すると、視点の位置が視差分だけ移動することになる。合成処理部３００は、位置合わせが行われたカラー画像と白黒画像について、合成処理を行う。

図５は、撮像部１００と撮像部１１０の位置の違いに起因する、カラー画像８００と白黒画像８１０の視差８２０とオクルージョン８３０を示す模式図である。なお、図５の上段の図は、撮像部１００、撮像部１１０及び被写体１５００を上方から見た様子を示している。

図５に示すように、撮像部１００と撮像部１１０で被写体１５００を撮像した場合、撮像部１００と撮像部１１０のそれぞれでは見えているものが異なり、視差８２０、オクルージョン８３０が発生する。視差８２０とオクルージョン８３０の量は、撮像部１００，１１０から被写体１５００までの距離に応じて変化する。視差８２０、オクルージョン８３０の量は、被写体１５００までの距離が遠いほど少なくなり、被写体１５００までの距離が近いほど多くなる。

上述したように本実施形態では、被写体１５００の明るさに応じて設定されるＩＳＯ感度に基づいて、モードを遷移させる。一方、モードＡまたはモードＢと、モードＣの間で遷移を行うと、モードＡ及びモードＢではカラー画像８００が位置の基準になり、モードＣでは白黒画像８１０が位置の基準となるため、視点の変化が生じる。

また、モードＡまたはモードＢと、モードＣの間で遷移を行うと、撮像部１００の撮像素子と撮像部１１０の撮像素子との間の分光感度差に起因する色味の変化、輝度の変化が生じる。更に、モードＡまたはモードＢと、モードＣの間で遷移を行うと、輝度のＳ／Ｎ比に差が生じる。

より具体的には、モードＢでは、カラー画像の色を基準とし、白黒画像の輝度を足しこんでいるため、輝度と色のズレは生じにくい。一方、モードＣでは、白黒画像の輝度を基準としてカラー画像の色を載せているため、輝度に対する色ずれが生じる場合がある。従って、モードＢとモードＣの間で遷移が行われると、輝度や色味が変化したり、Ｓ／Ｎが変化する場合がある。従って、モード遷移によりアーティファクトが目立ってしまう可能性がある。図３には、モードＢとモードＣとの間で遷移を行うと、視点の変化、輝度、色味の変化、Ｓ／Ｎ比の変化が生じることが示されている。同様に、モードＡとモードＢとの間で遷移を行った場合も、輝度やＳ／Ｎ比が変化する。

以上のように、モード遷移の際に、視点移動、画角、露出、色味、解像度、解像感、ノイズ等の、ユーザが視覚的に感知できる変化が生じる。そして、モード遷移時にこれらの変化が生じることにより、ユーザに違和感が生じる場合がある。特に、被写体１５００の明るさに基づいて定められるＩＳＯ感度が、２つのモードが切り換わる境界付近にある場合、被写体１５００の明るさの多少の変化に応じて、２つのモードの間でモードが頻繁に切り換わり、ユーザに大きな違和感を与えてしまう可能性がある。

また、ユーザが知覚するこれらの変化は、特にユーザが動画を視認している場合に顕著になる。ユーザが動画を見ている最中にモードが切り換わると、視点の変化、輝度、色味の変化、Ｓ／Ｎ比の変化がリアルタイムで発生し、動画を視認しているユーザに違和感を与えてしまう。

３．モード遷移のための切り換え閾値について
本実施形態では、ＩＳＯ感度に基づいてモードを遷移させる際に、各モードに応じてモードを判定するための閾値が設定される。より具体的には、モード遷移のためのＩＳＯ感度のしきい値を、ＩＳＯ感度が増加する場合とＩＳＯ感度が減少する場合の双方で異なる値に設定し、ＩＳＯ感度がモード切り換えの境界付近の値である場合に、モードが頻繁に切り換わることを抑制する。

図６は、ＩＳＯ感度に応じてモードを遷移させる様子を示す模式図である。図６に示すように、ＩＳＯ感度が増加する場合に、モードＡからモードＢに遷移する際のＩＳＯ感度の閾値ａと、モードＡ又はＢからモードＣに遷移する際のＩＳＯ感度の閾値ｃが設定されている。ＩＳＯ感度が閾値ａよりも大きくなると、モードＡからモードＢへの遷移が行われる。また、ＩＳＯ感度が閾値ｃよりも大きくなると、モードＡ又はＢからモードＣへの遷移が行われる。

また、ＩＳＯ感度が減少する場合に、モードＣからモードＢに遷移する際のＩＳＯ感度の閾値ｄと、モードＢ又はＣからモードＡに遷移する際のＩＳＯ感度の閾値ｂが設定されている。ＩＳＯ感度が閾値ｄよりも小さくなると、モードＣからモードＢへの遷移が行われる。また、ＩＳＯ感度が閾値ｂよりも小さくなると、モードＢ又はＣからモードＡへの遷移が行われる。

図６に示すように、モードＡからモードＢに遷移する際のＩＳＯ感度の閾値ａは、モードＢ又はＣからモードＡに遷移する場合の閾値ｂよりも大きい。また、モードＡ又はＢからモードＣに遷移する場合のＩＳＯ感度の閾値ｃは、モードＣからモードＢへ遷移する場合の閾値ｄよりも大きい。これらの閾値は、モードＡ，Ｂ，Ｃの両端のＩＳＯ感度の境界において、モードＡ，Ｂ，Ｃ毎に個別に設定されている。つまり、ＩＳＯ感度に基づいてモードを遷移させる際に、各モードに応じてモードを判定するための閾値が設定されている。

以上のように、本実施形態では、モードを切り換える際のＩＳＯ感度の閾値を、ＩＳＯ感度が増加する場合と低下する場合とで異なる値に設定している。モードを切り換える際のＩＳＯ感度の閾値を、ＩＳＯ感度が増加する場合と低下する場合とで同一に設定すると、被写体の輝度に基づいて決定されるＩＳＯ感度が例えばモードＢとモードＣの切り換わりの閾値近傍にある場合に、ＩＳＯ感度の増減に応じてモードＢとモードＣの間で遷移が頻繁に行われてしまう可能性がある。換言すれば、撮影環境に依存する変調軸（ＩＳＯ感度）に従ってモード遷移を行う場合、変調の切り換え閾値付近で、ユーザが視覚的に感知できる変化を伴う遷移を頻繁に繰り返す場合がある。この場合、例えば上述のように、モードＢとモードＣの間でモードが遷移すると、視点変化、輝度変化、色味変化、Ｓ／Ｎ比の変化等が生じ、ユーザに違和感を与えてしまう。

本実施形態によれば、モードを切り換える際のＩＳＯ感度の閾値を、ＩＳＯ感度が増加する場合と低下する場合とで異なる値に設定したことにより、ヒステリシス制御によりモードを決定することができる。これにより、ＩＳＯ感度がモード遷移の境界付近の値であったとしても、モードが頻繁に切り換わることを抑制でき、ユーザに違和感を与えることを抑制することが可能である。

４．モード遷移のための他のパラメータについて
上述した例では、ＩＳＯ感度に基づいてモードを切り換える例を挙げたが、撮影環境に依存する他のパラメータに基づいてモードを切り換えることもできる。他のパラメータとして、例えば、シャッター速度、ＥＶ値、ズーム位置、フォーカス位置等を挙げることができる。これらのパラメータに応じてモードＡ～Ｃを切り換えることで、パラメータの値に応じた最適な画像を画像処理装置１０００から出力することができる。また、複数のパラメータを組み合わせてモード制御を行っても良い。

例えば、ズーム位置に応じてＩＳＯ感度によるモード遷移の閾値を複数備えることにより、ズームによる画像データの誤りや信号の歪み（Ａｒｔｉｆａｃｔ）の目立ち方の変化に応じて、モード遷移の閾値を最適に設定することも可能である。

５．画像処理システムの構成例
図１に示す画像処理装置１０００において、撮像部１００と撮像部１１０は、画像処理装置１０００とは別体の撮像装置として設けられていても良い。図７は、カラー画像を撮像する撮像装置１１００と白黒画像を撮像する撮像装置１２００を画像処理装置１０００とは別に構成した画像処理システム２０００の構成を示す模式図である。

図７において、撮像装置１１００と撮像装置１２００のそれぞれは、画像処理装置１０００と無線又は有線により通信可能とされている。なお、通信の手法としては、任意の方法を採用することができ、特に限定されるものではない。図７に示すように、撮像装置１１００が撮像したカラー画像のデータは、画像処理装置１０００に送信される。また、撮像装置１２００が撮像した白黒画像のデータは、画像処理装置１０００に送信される。画像処理装置１０００における処理は、図１で説明した処理と同様に行われる。

以上説明したように本実施形態によれば、撮影環境に依存する変調軸（ＩＳＯ感度）に従ってモード遷移を行う場合に、変調の切り換え閾値をモードの状態に応じて個別に設定することで、モード遷移が頻発することを抑制することができる。具体的には、モードを切り換える際のＩＳＯ感度の閾値を、ＩＳＯ感度が増加する場合と低下する場合とで異なる値に設定したことで、モード切り換えが頻繁に行われてしまうことがなく、ユーザの違和感を抑制することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成する合成処理部と、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、
を備える、画像処理装置。
（２） 任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なる、前記（１）に記載の画像処理装置。
（３） 前記合成処理部は、白黒画像の前記画像情報とカラー画像の前記画像情報を合成する、前記（１）又は（２）に記載の画像処理装置。
（４） 複数の前記撮像素子は、前記被写体の動画を撮像する、前記（１）～（３）のいずれかに記載の画像処理装置。
（５） 前記所定の変数は、前記被写体を撮像する際の環境に関する変数である、前記（１）～（４）のいずれかに記載の画像処理装置。
（６） 前記所定の変数は、ＩＳＯ感度、シャッター速度、ＥＶ値、ズーム倍率又はフォーカス位置である、前記（１）～（５）のいずれかに記載の画像処理装置。
（７） 前記モードは、前記カラー画像と前記白黒画像を合成せずに前記カラー画像を前記合成処理部から出力する第１のモードと、前記カラー画像を基準として前記カラー画像の情報に前記白黒画像の情報を合成する第２のモードと、前記白黒画像を基準として前記白黒画像の情報に前記カラー画像の情報を合成する第３のモードと、を含む、前記（３）に記載の画像処理装置。
（８） 前記第２のモードでは、前記カラー画像の情報に前記白黒画像の輝度情報を合成する、前記（７）に記載の画像処理装置。
（９） 前記第３のモードでは、前記白黒画像の情報に前記カラー画像の色情報を合成する、前記（７）又は（８）に記載の画像処理装置。
（１０） 前記合成モード判定部は、スタインバイ動画の撮像時に録画が開始されると、録画開始時の前記モードに固定する、前記（１）～（９）のいずれかに記載の画像処理装置。
（１１） 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成することと、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定されることと、
を備える、画像処理方法。
（１２） 白黒画像を撮像する第１の撮像装置と、
カラー画像を撮像する第２の撮像装置と、
前記白黒画像の画像情報と前記カラー画像の画像情報を合成する合成処理部と、所定の変数に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を有する、画像処理装置と、
を備える、画像処理システム。

１０００ 撮像装置
１００，１１０ 撮像部
３００ 合成処理部
５００ 合成モード判定部

Claims (10)

1. 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成する合成処理部と、
   所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、
   を備え、
   任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理装置。
2. 前記合成処理部は、白黒画像の前記画像情報とカラー画像の前記画像情報を合成する、請求項１に記載の画像処理装置。
3. 複数の前記撮像素子は、前記被写体の動画を撮像する、請求項１に記載の画像処理装置。
4. 前記所定の変数は、前記被写体を撮像する際の環境に関する変数である、請求項１に記載の画像処理装置。
5. 前記所定の変数及び前記他の変数は、ＩＳＯ感度、シャッター速度、ＥＶ値、ズーム倍率又はフォーカス位置である、請求項１に記載の画像処理装置。
6. 前記モードは、
   前記カラー画像と前記白黒画像を合成せずに前記カラー画像を前記合成処理部から出力する第１のモードと、
   前記カラー画像を基準として前記カラー画像の情報に前記白黒画像の情報を合成する第２のモードと、
   前記白黒画像を基準として前記白黒画像の情報に前記カラー画像の情報を合成する第３のモードと、
   を含む、請求項２に記載の画像処理装置。
7. 前記第２のモードでは、前記カラー画像の情報に前記白黒画像の輝度情報を合成する、請求項６に記載の画像処理装置。
8. 前記第３のモードでは、前記白黒画像の情報に前記カラー画像の色情報を合成する、請求項６に記載の画像処理装置。
9. 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成することと、
   所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定されることと、
   を備え、
   任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理方法。
10. 白黒画像を撮像する第１の撮像装置と、
    カラー画像を撮像する第２の撮像装置と、
    前記白黒画像の画像情報と前記カラー画像の画像情報を合成する合成処理部と、所定の変数に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を有する、画像処理装置と、
    を備え、
    任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理システム。

Images