JPWO2012002039A1 - 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム - Google Patents
代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム Download PDFInfo
- Publication number
- JPWO2012002039A1 JPWO2012002039A1 JP2012522500A JP2012522500A JPWO2012002039A1 JP WO2012002039 A1 JPWO2012002039 A1 JP WO2012002039A1 JP 2012522500 A JP2012522500 A JP 2012522500A JP 2012522500 A JP2012522500 A JP 2012522500A JP WO2012002039 A1 JPWO2012002039 A1 JP WO2012002039A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- score
- shadow
- shadow area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Abstract
異なる視点で撮像された複数の画像の代表画像を決定する。左目用画像のうち右目用画像には現れていない陰領域が検出される。同様に,右目用画像のうち左目用画像には現れていない陰領域が検出される。陰領域の画像の特性と陰領域の画像の特性とから,スコアが算出される。算出されたスコアが高い方の陰領域を含む画像が代表画像とされる。
Description
この発明は,代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラムに関する。
立体を撮像して立体画像として表示することが行われるようになってきた。立体画像を表示できない表示装置では立体画像を表わす複数の画像から代表画像を選択し,その選択された代表画像を表示することが考えられる。このために,たとえば,三次元物体を撮像して得られる動画の中から三次元物体の特徴を捉えた画像を選択するものもある(特開2009−42900号公報)。しかしながら,その選択された画像には現れていないが他の画像には重要な被写体が現れている場合がある。さらに,複数の異なる視点での撮像により得られた複数フレームの画像の中から,他の画像には現れていない画像部分を示すオクルージョン領域(陰領域)を抽出し,被写体の輪郭を高精度で求めるものもある(特開平6−203143号公報)。しかしながら,代表画像を決定することはできない。また,複数の画像について一律の割合で圧縮すると重要な画像の画質が低下することがある。
この発明は,重要な被写体部分も現れるような代表画像を決定することを目的とする。また,この発明は,重要な画像の画質を低下させないことを目的とする。
第1の発明による代表画像決定装置は,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置(陰領域検出手段),上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置(スコア算出手段),および上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定する決定装置(決定手段)を備えていることを特徴とする。
第1の発明は,上記代表画像決定装置に適した動作制御方法も提供している。すなわち,この方法は,陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,決定装置が,上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定するものである。
第1の発明は,上記代表画像決定装置の動作制御方法を実施するためのプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。
この発明によると,複数の画像のそれぞれの画像から,他の画像には現れていない陰領域が検出される。複数の画像のそれぞれの画像の陰領域内の画像の所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアが算出される。算出されたスコアが高い陰領域を含む画像が代表画像と決定される。この発明によると,陰領域の画像部分の重要度が高い画像(所定の対象物の割合が多い画像)が代表画像として決定されるので,重要度の高い画像部分(所定の対象物)が現れていない画像が代表画像と決定されてしまうことを未然に防止できる。
上記スコア算出装置は,たとえば,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合と,陰領域内の画像のエッジ強度,陰領域内の画像の彩度,陰領域内の画像の明るさ,陰領域の面積および陰領域内の画像の分散のうち少なくとも一つと,にもとづいて陰領域の重要度を表わすスコアを算出するものである。
上記スコア算出装置は,たとえば,重複している陰領域のスコアが高くなるように算出するものである。
上記複数の画像は3フレーム以上の画像の場合には,上記決定装置は,たとえば,上記スコア算出装置によって算出されたスコアが高い陰領域を含む2フレーム以上の画像を代表画像と決定するものである。
上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置をさらに備えてもよい。
上記決定装置により決定された代表画像の視点近く(代表画像の両側のうち少なくとも一方)の視点から撮像するように報知する第1の報知装置(第1の報知手段)をさらに備えてもよい。
上記複数の画像は3フレーム以上の画像の場合には,上記決定装置は,たとえば,上記スコア算出装置によって算出されたスコアが高い陰領域を含む2フレームの画像を代表画像と決定するものである。そして,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたかどうかを判定する判定装置(判定手段),および上記判定装置において,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたと判定されたことにより,その2フレームの画像を撮像した2箇所の視点の間の視点からの撮像をするように報知し,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されていないと判定されたことによりスコアのもっとも高い陰領域を含む画像の視点近くの視点からの撮像をするように報知する第2の報知装置(第2の報知手段)をさらに備えてもよい。
上記決定装置は,たとえば,もっとも高い陰領域を含む画像を代表画像と決定するものである。この場合,上記複数の画像のそれぞれの画像を表わす画像データと上記決定装置によって決定された代表画像を識別するデータとを関連づけて記録媒体に記録する記録制御装置(記録制御手段)をさらに備えてもよい。
上記所定の対象物は,たとえば,顔である。
第2の発明による画像圧縮装置は,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置(陰領域検出手段),上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置(スコア算出手段),および上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置(圧縮手段)を備えていることを特徴とする。
第2の発明は,上記画像圧縮装置に適した動作制御方法も提供している。すなわち,この方法は,陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,圧縮装置が,上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮するものである。
第2の発明は,上記画像圧縮装置の動作制御方法を実施するのに必要なコンピュータが読み取り可能なプログラムも提供している。また,そのようなプログラムを格納した記録媒体も提供するようにしてもよい。
第2の発明によると,複数の画像のそれぞれの画像から,他の画像には現れていない陰領域が検出される。複数の画像のそれぞれの画像の陰領域内の画像の所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアが算出される。算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮(低圧縮)される。陰領域の重要度が高い画像ほど画質の高い画像が得られる。
第1の発明による代表画像決定装置は,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置(陰領域検出手段),上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置(スコア算出手段),および上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定する決定装置(決定手段)を備えていることを特徴とする。
第1の発明は,上記代表画像決定装置に適した動作制御方法も提供している。すなわち,この方法は,陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,決定装置が,上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定するものである。
第1の発明は,上記代表画像決定装置の動作制御方法を実施するためのプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。
この発明によると,複数の画像のそれぞれの画像から,他の画像には現れていない陰領域が検出される。複数の画像のそれぞれの画像の陰領域内の画像の所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアが算出される。算出されたスコアが高い陰領域を含む画像が代表画像と決定される。この発明によると,陰領域の画像部分の重要度が高い画像(所定の対象物の割合が多い画像)が代表画像として決定されるので,重要度の高い画像部分(所定の対象物)が現れていない画像が代表画像と決定されてしまうことを未然に防止できる。
上記スコア算出装置は,たとえば,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合と,陰領域内の画像のエッジ強度,陰領域内の画像の彩度,陰領域内の画像の明るさ,陰領域の面積および陰領域内の画像の分散のうち少なくとも一つと,にもとづいて陰領域の重要度を表わすスコアを算出するものである。
上記スコア算出装置は,たとえば,重複している陰領域のスコアが高くなるように算出するものである。
上記複数の画像は3フレーム以上の画像の場合には,上記決定装置は,たとえば,上記スコア算出装置によって算出されたスコアが高い陰領域を含む2フレーム以上の画像を代表画像と決定するものである。
上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置をさらに備えてもよい。
上記決定装置により決定された代表画像の視点近く(代表画像の両側のうち少なくとも一方)の視点から撮像するように報知する第1の報知装置(第1の報知手段)をさらに備えてもよい。
上記複数の画像は3フレーム以上の画像の場合には,上記決定装置は,たとえば,上記スコア算出装置によって算出されたスコアが高い陰領域を含む2フレームの画像を代表画像と決定するものである。そして,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたかどうかを判定する判定装置(判定手段),および上記判定装置において,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたと判定されたことにより,その2フレームの画像を撮像した2箇所の視点の間の視点からの撮像をするように報知し,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されていないと判定されたことによりスコアのもっとも高い陰領域を含む画像の視点近くの視点からの撮像をするように報知する第2の報知装置(第2の報知手段)をさらに備えてもよい。
上記決定装置は,たとえば,もっとも高い陰領域を含む画像を代表画像と決定するものである。この場合,上記複数の画像のそれぞれの画像を表わす画像データと上記決定装置によって決定された代表画像を識別するデータとを関連づけて記録媒体に記録する記録制御装置(記録制御手段)をさらに備えてもよい。
上記所定の対象物は,たとえば,顔である。
第2の発明による画像圧縮装置は,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置(陰領域検出手段),上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置(スコア算出手段),および上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置(圧縮手段)を備えていることを特徴とする。
第2の発明は,上記画像圧縮装置に適した動作制御方法も提供している。すなわち,この方法は,陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,圧縮装置が,上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮するものである。
第2の発明は,上記画像圧縮装置の動作制御方法を実施するのに必要なコンピュータが読み取り可能なプログラムも提供している。また,そのようなプログラムを格納した記録媒体も提供するようにしてもよい。
第2の発明によると,複数の画像のそれぞれの画像から,他の画像には現れていない陰領域が検出される。複数の画像のそれぞれの画像の陰領域内の画像の所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアが算出される。算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮(低圧縮)される。陰領域の重要度が高い画像ほど画質の高い画像が得られる。
第1a図は左目用画像を,第1b図は右目用画像を示している。
第2図は代表画像決定処理手順を示すフローチャートである。
第3a図は左目用画像を,第3b図は右目用画像を示している。
第4図から第9図はスコア・テーブルの一例である。
第10a図から第10c図は視点の異なる3つの画像を示している。
第11図は画像の一例である。
第12図および第13図は代表画像決定処理手順を示すフローチャートである。
第14a図から第14c図は,視点の異なる3つの画像を示している。
第15図は画像の一例である。
第16a図から第16c図は,視点の異なる3つの画像を示している。
第17図は画像の一例である。
第18図は撮像アシスト・モードの処理手順を示すフローチャートである。
第19図は撮像アシスト・モードの処理手順を示すフローチャートである。
第20図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
第2図は代表画像決定処理手順を示すフローチャートである。
第3a図は左目用画像を,第3b図は右目用画像を示している。
第4図から第9図はスコア・テーブルの一例である。
第10a図から第10c図は視点の異なる3つの画像を示している。
第11図は画像の一例である。
第12図および第13図は代表画像決定処理手順を示すフローチャートである。
第14a図から第14c図は,視点の異なる3つの画像を示している。
第15図は画像の一例である。
第16a図から第16c図は,視点の異なる3つの画像を示している。
第17図は画像の一例である。
第18図は撮像アシスト・モードの処理手順を示すフローチャートである。
第19図は撮像アシスト・モードの処理手順を示すフローチャートである。
第20図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
第1a図および第1b図は,立体撮像ディジタル・スチル・カメラにより撮像された画像を示している。第1a図は再生時に観賞者が左目で見る左目用画像1Lの一例で,第1b図は再生時に観賞者が右目で見る右目用画像1Rの一例である。これらの左目用画像1Lおよび右目用画像1Rは異なる視点から撮像されたもので,撮像範囲の一部分が共通している。
左目用画像1Lには,人物像2Lおよび3Lが含まれている。右目用画像1Rには,人物像2Rおよび3Rが含まれている。左目用画像1Lに含まれている人物像2Lと右目用画像1Rに含まれている人物像2Rとが同一人物を表わしており,左目用画像1Lに含まれている人物像3Lと右目用画像1Rに含まれている人物像3Rとが同一人物を表わしている。
左目用画像1Lと右目用画像1Rとは異なる視点で撮像されている。このために,左目用画像1Lに含まれている人物像2Lおよび3Lの見え方と右目用画像1Rに含まれている人物像2Rおよび3Rの見え方とが異なっている。左目用画像1Lには現れているが右目用画像1Rには現れていない画像部分がある。逆に右目用画像1Rには現れているが左目用画像部分1Lには現れていない画像部分がある。
この実施例は,異なる視点から撮像された複数の画像のうち少なくとも一部分が共通する複数の画像の中から代表画像を決定するものである。第1a図および第1b図に示す例では,左目用画像1Lまたは右目用画像1Rのうち,いずれかの画像が代表画像として決定される。
第2図は,代表画像を決定する処理手順を示すフローチャートである。
第1a図および第1b図に示すように異なる視点の複数の画像である左目用画像1Lおよび右目用画像1Rが読み取られる(ステップ11)。これらの左目用画像1Lおよび右目用画像1Rを表わす画像データはメモリ・カードなどの記録媒体に記録されており,そのメモリ・カードから読み取られる。もちろん,これらの左目用画像1Lおよび右目用画像1Rを表わす画像データがメモリ・カードに記録されていずに撮像装置から直接得られるものでもよい。撮像装置は,立体撮像が可能なもので左目用画像1Lと右目用画像1Rとが一度に得られるものでもよいし,一つの撮像装置を用いて2回撮像することにより左目用画像1Lと右目用画像1Rとが得られるものでもよい。読み取られた左目用画像1Lおよび右目用画像1Rのそれぞれの画像から,他の画像には現れていない領域(陰領域ということにする。オクルージョン領域)が検出される(ステップ12)。
まず,左目用画像1Lの陰領域が検出される(右目用画像1Rの陰領域から検出してもよい)。左目用画像1Lと右目用画像1Rとを比較して,左目用画像1Lを構成する画素に対応する画素が右目用画像1Rに存在しないような画素で表わされる領域が左目用画像1Lの陰領域とされる。
第3a図および第3b図は,陰領域が図示されている左目用画像1Lおよび右目用画像1Rである。
第3a図に示す左目用画像1Lにおいては,人物像2Lおよび3Lの左側のそれぞれに陰領域4Lがハッチングで図示されている。これらの陰領域4L内の画像部分が右目用画像1Rには含まれていないこととなる。
左目用画像1Lの陰領域4Lが検出されると,その陰領域4Lのスコアが算出される(ステップ13)。スコアの算出方法については後述する。
読み取られた複数の画像のすべての画像について陰領域の検出および陰領域のスコアの算出が終了していなければ(ステップ14でNO),残りの画像について陰領域の検出および陰領域のスコアが算出される。この場合,右目用画像についての陰領域が検出される(ステップ12)。
第3b図は,陰領域が図示された右目用画像1Rである。
右目用画像1Rを構成する画素に対応する画素が左目用画像1Lに存在しないような画素で表わされる領域が右目用画像1Rの陰領域4Rとされる。第3b図に示す右目用画像1Rにおいては,人物像2Rおよび3Rの右側のそれぞれに陰領域4Rがハッチングで図示されている。これらの陰領域4R内の画像部分が左目用画像1Lには含まれていないこととなる。
左目用画像1Lの陰領域4Lのスコアおよび右目用画像1Rの陰領域4Rのスコアがそれぞれ算出される(図2ステップ13)。スコアの算出方法については後述する。
読み取られたすべての画像についての陰領域の検出および陰領域のスコアの算出が終了すると(ステップ14でYES),スコアのもっとも高い陰領域を含んでいる画像が代表画像と決定される(ステップ15)。
第4図から第9図は,スコア・テーブルの一例である。
第4図は,陰領域に含まれている顔領域面積比に応じて決定されるスコアSfの値を示している。
陰領域に含まれている顔の割合が0%から49%,50%から99%または100%であれば,それぞれスコアSfは0,40または100となる。
第5図は,陰領域の画像部分の平均エッジ強度に応じて決定されるスコアSeの値を示している。
エッジ強度が0から255までのレベルの場合,陰領域の画像部分の平均エッジ強度が0から127のレベル,128から191のレベルまたは192から255のレベルであれば,それぞれスコアSeは0,50または100となる。
第6図は,陰領域の画像部分の平均彩度に応じて決定されるスコアScの値を示している。
平均彩度のレベルが0から100までのレベルの場合,陰領域の画像部分の平均彩度が0から59のレベル,60から79のレベルまたは80から100のレベルであれば,それぞれスコアは0,50または100となる。
第7図は,陰領域の画像部分の平均明度に応じて決定されるスコアSbの値を示している。
平均明度のレベルが0から100までのレベルの場合,陰領域の画像部分の平均明度が0から59のレベル,60から79のレベルまたは80から100のレベルであれば,それぞれスコアは0,50または100となる。
第8図は,画像全体に対する陰領域の面積比に応じて決定されるスコアSaの値を示している。
面積比が0%から9%,10%から29%または30%以上の場合であれば,それぞれスコアSaは0,50または100となる。
第9図は,陰領域内の画素の分散値に応じて決定されるスコアSvの値を示している。
分散値が0から99,100から999または1000以上の場合であれば,それぞれスコアSvは10,60または100となる。
このように,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaおよび分散値に応じたスコアSvから総合的なスコアStが式1から算出される。式1において,α1からα6は任意の係数である。これらの係数α1からα6は必要に応じて重み付けが行われる。
St=α1×Sf+α2×Se+α3×Sc+α4×Sb+α5×Sa+α6×Sv・・・式1
このようにして算出されたスコアStがもっとも高い陰領域を含む画像が代表画像と決定される。
上述の実施例では,総合的なスコアStを用いて代表画像を決定しているが,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのいずれか一つのスコアまたは任意の組み合わせのスコアの和がもっとも高い陰領域を含む画像を代表画像としてもよい。たとえば,陰領域に含まれる顔領域面積比(対象物。顔以外の対象物でもよい)のみにもとづいて得られるスコアSfから代表画像を決定してもよい。また,顔領域面積比のスコアSfと,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのうち少なくとも一つと,から代表画像を決定してもよい。
第10a図,第10b図および第10c図ならびに第11図は,変形例を示している。
この変形例は,3フレームの画像から代表画像を決定するものである。4フレーム以上の画像であっても同様である。
第10a図,第10b図および第10c図は,異なる視点で撮像され,少なくとも一部分の撮像範囲が共通する第1の画像31A,第2の画像31Bおよび第3の画像31Cの一例である。第2の画像31Bは,被写体に向かって正面から撮像した場合に得られる画像である。第1の画像31Aは,第2の画像31Bよりも左側(被写体に向かって左側)からの視点で撮像した場合に得られる画像である。第3の画像33Cは,第2の画像31Bよりも右側(被写体に向かって右側)からの視点で撮像された場合に得られる画像である。
第1の画像31Aには,人物像32Aおよび人物像33Aが含まれている。第2の画像31Bには,人物像32Bおよび人物像33Bが含まれている。第3の画像31Cには,人物像32Cおよび人物像33Cが含まれている。人物像32A,32Bおよび32Cが同一人物を表わし,人物像33A,33Bおよび33Cが同一人物を表わしている。
第11図は,陰領域が図示されている第2の画像31Bである。
第2の画像31Bの陰領域には,第2の画像31Bには現れているが第1の画像31Aには現れていない第1の陰領域,第2の画像31Bには現れているが第3の画像31Cは現れていない第2の陰領域および第2の画像31Bには現れているが第1の画像31Aおよび第3の画像31Cの両方に現れていない第3の陰領域が含まれる。
人物像32Bの右側および人物像33Bの右側の陰領域34は,第2の画像31Bには現れているが第1の画像31Aには現れていない第1の陰領域34である。人物像32Bの左側および人物像33Bの左側の陰領域35は,第2の画像31Bには現れているが第3の画像31Cには現れていない第2の陰領域35である。人物像32Bの右側にある第1の陰領域34と人物像33Bの左側にある第2の陰領域35とが重なっている領域が,第2の画像31Bには現れているが第1の画像31Aおよび第3の画像31Cには現れていない第3の陰領域36である。
このように,3フレーム以上の画像の場合,陰領域のスコアを算出する画像以外の他の画像のすべてに現れていない画像部分を示す陰領域(第3の陰領域36)と,他の画像のうち一部の画像にのみ現れていない画像部分を示す陰領域(第1の陰領域34,第2の陰領域35)と,が存在することがある。スコアを算出する場合には,陰領域のスコアを算出する画像以外の他の画像のすべてに現れていない画像部分を示す陰領域から得られるスコアの重みを重くし,他の画像のうち一部の画像にのみ現れていない画像部分を示す陰領域から得られるスコアの重みを重くする(重複している陰領域36のスコアを高くする)。もちろん,このような重みを変えなくともよい。
以上のようにして代表画像が決定されると,二次元用画像を表示する表示装置では,決定された代表画像が表示されるようになる。また,複数の異なる視点の画像を表わす画像データが一つの画像ファイルに格納される場合には,決定された代表画像のサムネイル画像を表わす画像データがファイルのヘッダに記録されるようにしてもよい。もちろん,そのファイルのヘッダには代表画像の識別データが記録されるようにしてもよい。
第12図は,代表画像の決定処理手順を示すフローチャートである。第12図は,第2図の処理に対応するもので,第2図の処理と同一の処理については同一符号を付して説明を省略する。
この実施例では,3フレームの画像が読み取られる(3フレーム以上でもよい)(ステップ11A)。3フレームの画像のそれぞれにおいて,陰領域のスコアが算出される(ステップ12〜14)。3フレームの画像のうち,スコアの高い2フレームの画像が代表画像として決定される(ステップ15A)。このように代表画像は1フレームでなく2フレームでもよい。2フレームの画像が代表画像として決定されることにより,決定された2フレームの画像を用いて立体画像を表示させることができる。もっとも,4フレーム以上の画像が読み取られた場合には代表画像は3フレーム以上であってもよい。
第13図は,代表画像の決定および画像の圧縮処理手順を示すフローチャートである。第13図も第2図に対応するもので,第2図の処理と同一の処理については同一符号を付して説明を省略する。
上述のように代表画像が決定される(ステップ15)。読み取られたすべての画像のそれぞれの画像において,陰領域のスコアが記憶されており,そのスコアが高いほど圧縮の程度が少なくなる低い圧縮率が選択される(ステップ16)。圧縮率はあらかじめ定められており,その定められている圧縮率の中から選択される。選択された圧縮率を用いて,読み取られた画像のそれぞれの画像が圧縮される(ステップ17)。陰領域のスコアが高いほど重要な画像と考えられ,そのような重要な画像ほど高画質となる。
上述の実施例では,算出されたスコアのもっとも高い画像を代表画像と決定した上で,圧縮率を選択(決定)し,その選択された圧縮率で画像が圧縮されているが,スコアの高い画像を代表画像と決定することなく,圧縮率を選択してもよい。すなわち,複数の画像のそれぞれの画像から陰領域を検出し,検出された陰領域のスコアに応じて圧縮率を選択し,その選択された圧縮率で,それぞれの画像を圧縮するようにしてもよい。
上述の実施例においても,上述したように総合的なスコアStを用いて代表画像を決定してもよいし,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのいずれか一つのスコアまたは任意の組み合わせのスコアの和に応じて圧縮率を選択してもよい。たとえば,陰領域に含まれる顔領域面積比(対象物。顔以外の対象物でもよい)のみにもとづいて得られるスコアSfから代表画像を決定してもよい。また,顔領域面積比のスコアSfと,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのうち少なくとも一つと,から圧縮率を選択してもよい。
第14図から第18図は,他の実施例を示している。この実施例は,すでに撮像された3フレーム以上の画像を利用して,次に撮像するときに適した視点を決定するものである。この実施例は同一の被写体を異なる視点から撮像するものである。
第14a図,第14b図および第14c図は,異なる視点から撮像することにより得られた第1の画像41A,第2の画像41Bおよび第3の画像41Cである。
第1の画像41Aには,被写体像51A,52A,53Aおよび54Aが含まれている。第2の画像41Bには,被写体像51B,51B,53Bおよび54Bが含まれている。第3の画像41Cには,被写体像51C,52C,53Cおよび54Cが含まれている。被写体像51A,51Bおよび51Cは同一の被写体を表わしている。被写体像52A,52Bおよび52Cは同一の被写体を表わしている。被写体像53A,53Bおよび53Cは同一の被写体を表わしている。被写体像54A,54Bおよび54Cは同一の被写体を表わしている。これらの第1の画像41A,第2の画像41Bおよび第3の画像41Cは隣り合う視点で撮像されたものとする。
上述したように,これらの第1の画像41A,第2の画像41Bおよび第3の画像41Cのそれぞれの陰領域が検出され(第14a図,第14b図および第14c図では陰領域は図示が省略されている),陰領域のスコアが算出される。たとえば,第14a図に示す第1の画像41Aのスコアはスコア60であり,第14b図に示す第2の画像41Bのスコアはスコア50であり,第14c図に示す第3の画像41Cのスコアはスコア10であったものとする。
この実施例では,スコアの上位2つの画像が隣り合っている場合には,その2つの画像を撮像した2つの視点の間の視点から撮像される画像が重要な画像となると考えられる。このために,スコアの上位2つの画像を撮像した2つの視点の間の視点から撮像するようにユーザに知らせられる。第14a図,第14b図および第14c図に示す例では,第1の画像41Aと第2の画像41Bとがスコアの高い上位2つの画像であるから,第1の画像41Aの撮像時の視点と第2の画像41Bの撮像時の視点との間の視点から撮像するようにユーザに知らせられる。たとえば,第1の画像41Aと第2の画像42Aとがディジタル・スチル・カメラの背面に設けられている表示画面に表示され,「表示されている画像の中間から撮像してください」というメッセージを文字で表示する,あるいは音声で出力することとなろう。
第15図は,第1の画像41Aの撮像時の視点と第2の画像41Bの撮像時の視点との間の視点から撮像して得られた画像41Dである。
この画像41Dには,被写体像51D,52D,53Dおよび54Dが含まれている。被写体像51Dは,第14a図,第14b図および第14c図に示した第1の画像41Aの被写体像51A,第2の画像41Bの被写体像51Bおよび第3の画像41Cの被写体像51Cと同じ被写体を表わしている。同様に,被写体像52Dは,被写体像52A,52Bおよび52Cと同じ被写体を,被写体像53Dは,被写体像53A,53Bおよび53Cと同じ被写体を,被写体像54Dは,被写体像54A,54Bおよび54Cと同じ被写体をそれぞれ表わしている。
第16a図,第16b図および第16c図は,異なる視点から撮像することにより得られた第1の画像61A,第2の画像61Bおよび第3の画像61Cである。
第1の画像61Aには,被写体像71A,72A,73Aおよび74Aが含まれている。第2の画像61Bには,被写体像71B,72B,73Bおよび74Bが含まれている。第3の画像61Cには,被写体像71C,72C,73Cおよび74Cが含まれている。被写体像71A,71Bおよび71Cは同一の被写体を表わしている。被写体像72A,72Bおよび72Cは同一の被写体を表わしている。被写体像73A,73Bおよび73Cは同一の被写体を表わしている。被写体像74A,74Bおよび74Cは同一の被写体を表わしている。これらの第1の画像61A,第2の画像61Bおよび第3の画像61Cも隣り合う視点で撮像されたものとする。
これらの第1の画像61A,第2の画像61Bおよび第3の画像61Cにおいてもそれぞれの陰領域が検出され(第16a図,第16b図および第16c図では陰領域は図示が省略されている),陰領域のスコアが算出される。たとえば,第16a図に示す第1の画像61Aのスコアはスコア50であり,第16b図に示す第2の画像61Bのスコアはスコア30であり,第16c図に示す第3の画像61Cのスコアはスコア40であったものとする。
上述のように,スコアの上位2つの画像が隣り合っている場合には,その2つの画像を撮像した2つの視点の間の視点から撮像される画像が重要な画像となると考えられるが,スコアの上位2つの画像が隣り合っていない場合には,もっとも高いスコアの画像が重要と考えられ,その画像を撮像した視点近傍の視点から撮像するようにユーザに知らせられる。第16a図,第16b図および第16c図に示す例では,スコアの高い上位2つの画像は第1の画像61Aと第3の画像61Cであり,これらの画像61Aと61Cとは隣り合った視点で撮像されたものではないから,もっとも高いスコアの画像61Aの視点の近傍から撮像するようにユーザに知らせられる(たとえば,第1の画像61Aを撮像した視点の左側の視点から撮像するようにユーザに知らせられる)。たとえば,第1の画像61Aがディジタル・スチル・カメラの背面に設けられている表示画面に表示され,この画像61Aの視点の左側の視点から撮像することが好ましいという文章が表示されよう。
第17図は,第1の画像61Aの撮像時の視点の左側の視点から撮像して得られた画像61Dである。
この画像61Dには,被写体像71D,72D,73Dおよび74Dが含まれている。被写体像71Dは,第16a図,第16b図および第16c図に示した第1の画像61Aの被写体像71A,第2の画像61Bの被写体像71Bおよび第3の画像61Cの被写体像71Cと同じ被写体を表わしている。同様に,被写体像72Dは,被写体像72A,72Bおよび72Cと同じ被写体を,被写体像73Dは,被写体像73A,73Bおよび73Cと同じ被写体を,被写体像74Dは,被写体像74A,74Bおよび74Cと同じ被写体をそれぞれ表わしている。
重要と思われる画像をユーザに撮像させることができる。
第18図は,上述の撮像アシスト・モードでの撮像処理手順を示すフローチャートである。この処理手順はディジタル・スチル・カメラを用いて撮像するものである。
撮像アシスト・モードが設定されることにより,この処理手順が開始する。撮像の終了などにより撮像モード自体が完了していなければ(ステップ41でNO),同一の被写体を撮像して得られた撮像済みの画像が2フレームよりも多くなっているかどうかが確認される(ステップ42)。撮像済みの画像が2フレームよりも多くなければ(ステップ42でNO),上述したように3フレーム以上の画像を用いて,撮像する視点を決定できないので,ユーザにより決定された異なる視点での撮像が行われる。
撮像済みの画像が2フレームよりも多くなると(ステップ42でYES),メモリ・カードから撮像済みの画像を表わす画像データが読み取られて,上述のように画像ごとにスコアの算出処理が行われる(ステップ43)。
第14a図,第14b図および第14c図に示すように,陰領域のスコアの高い上位2フレームの画像の視点が隣り合っている場合には(ステップ44でYES),陰領域のスコアの高い2フレームの画像の視点の間の視点が撮像視点候補としてユーザに知らせられる(ステップ45)。第16a図,第16b図および第16c図に示すように,スコアの高い上位2フレームの画像の視点が隣り合っていない場合には(ステップ44でNO),スコアのもっとも高い陰領域が含まれている画像の両側(近傍)を撮像視点候補としてユーザに知らせられる(ステップ46)。上述のように,スコアのもっとも高い陰領域を含む画像の両方の視点のうち,画像が撮像されていない方の視点のみを撮像視点候補として知らせてもよい。視点が隣り合っている画像かどうかは,視点の異なる複数の画像のそれぞれに,撮像場所の位置情報が付随している場合には,その位置情報からわかる。また,視点の異なる複数の画像の撮像順序がある方向にしたがって撮像するように視点が変わる方向が決まっており,かつそれらの複数の画像をそれぞれ表わす画像データの画像ファイルまたはメモリ・カードへの格納順序を決めておく場合には,格納順序と視点が変わる方向とが対応しているので,視点が隣り合っている画像かどうかがわかる。さらに,画像を構成する画素が対応する対応点を,画像同士で比較することにより,その比較結果から被写体と撮像したカメラとの位置関係がわかり,視点が隣り合っているかどうかがわかる。
ユーザは,撮像視点候補がわかると,その候補を参考にして被写体を撮像する(ステップ47)。重要と思われる画像が得られるようになる。精度の高い撮像アシストが可能となる。
第19図は,上述の撮像アシスト・モードでの撮像処理手順を示すフローチャートである。この処理手順はディジタル・スチル・カメラを用いて撮像するものである。第19図に示す処理手順は,第18図に示す処理手順に対応するもので,第18図に示す処理と同一の処理については同一符号を付して説明を省略する。
第18図に示す実施例では,スコアの高い2フレームの画像の視点が隣り合っている場合にはスコアの高い2フレームの画像の視点の間を撮像視点候補としてユーザに知らせ,スコアの高い2フレームの画像の視点が隣り合っていない場合にはスコアのもっとも高い画像の両側を撮像視点候補としてユーザに知らせている。これに対して,この実施例では,スコアの高い2フレームの画像の視点が隣り合っているかどうかにかかわらず,スコアのもっとも高い画像の両側(少なくとも一方の側でもよい)が撮像視点候補としてユーザに報知される(ステップ46)。
ユーザは,撮像視点候補がわかると,その候補を参考にして被写体を撮像する(ステップ47)。この実施例においても重要と思われる画像が得られるようになる。精度の高い撮像アシストが可能となる。
第20図は,上述の実施例を実現する立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
メモリ・カード132に上述した動作を制御するプログラムが格納されており,そのプログラムがメディア制御装置131によって読み取られ,立体撮像ディジタル・カメラにインストールされる。もっとも,動作プログラムは立体撮像ディジタル・カメラにプレ・インストールされていてもよいし,ネットワークを介して立体撮像ディジタル・カメラに与えられてもよい。
立体撮像ディジタル・カメラの全体の動作は,メインCPU81によって統括される。立体撮像ディジタル・カメラには,撮像アシスト・モード,立体撮像モード,二次元撮像モード,立体画像再生モード,二次元画像再生モードなどのモード設定ボタン,二段ストローク・タイプのシャッタ・レリーズ・ボタンなどの各種ボタン類が含まれている操作装置88が設けられている。操作装置88から出力される操作信号は,メインCPU81に入力する。
立体撮像ディジタル・カメラには,左目用画像撮像装置90と右目用画像撮像装置110とが含まれている。立体撮像モードが設定されると,これらの左目用画像撮像装置90と右目用画像撮像装置110とによって被写体が連続的に(周期的に)撮像される。撮像アシスト・モードまたは二次元撮像モードが設定されると,左目用画像撮像装置90のみ(右目用画像撮像装置110でもよい)によって被写体が連続的に撮像される。
左目用画像撮像装置90は,被写体を撮像することにより,立体動画を構成する左目用画像を表す画像データを出力するものである。左目用画像撮像装置90には,第1のCCD94が含まれている。第1のCCD94の前方には,第1のズーム・レンズ91,第1のフォーカス・レンズ92,および絞り93が設けられている。これらの第1のズーム・レンズ91,第1のフォーカス・レンズ92,および絞り93は,それぞれズーム・レンズ制御装置95,フォーカス・レンズ制御装置96,および絞り制御装置97によって駆動させられる。立体撮像モードが設定され,第1のCCD94の受光面に左目用画像が結像すると,タイミング・ジェネレータ98から与えられるクロック・パルスにもとづいて,左目用画像を表す左目用映像信号が第1のCCD94から出力される。
第1のCCD94から出力された左目用映像信号は,アナログ信号処理装置101において,所定のアナログ信号処理が行われ,アナログ/ディジタル変換装置102においてディジタルの左目用画像データに変換される。左目用画像データは,画像入力コントローラ103からディジタル信号処理装置104に入力する。ディジタル信号処理装置104において左目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置104から出力された左目用画像データは3D画像生成装置139に入力する。
右目用画像撮像装置110には,第2のCCD114が含まれている。第2のCCD114の前方には,ズーム・レンズ制御装置115,フォーカス・レンズ制御装置116および絞り制御装置117によってそれぞれ駆動させられる第2のズーム・レンズ111,第2のフォーカス・レンズ112および絞り113が設けられている。撮像モードが設定され,第2のCCD114の受光面に右目用画像が結像すると,タイミング・ジェネレータ118から与えられるクロック・パルスにもとづいて,右目用画像を表す右目用映像信号が第2のCCD114から出力される。
第2のCCD114から出力された右目用映像信号は,アナログ信号処理装置121において,所定のアナログ信号処理が行われ,アナログ/ディジタル変換装置122においてディジタルの右目用画像データに変換される。右目用画像データは,画像入力コントローラ123からディジタル信号処理装置124に入力する。ディジタル信号処理装置124において右目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置124から出力された右目用画像データは3D画像生成装置139に入力する。
3D画像生成装置139において,左目用画像データと右目用画像データとから,立体画像を表す画像データが生成されて表示制御装置133に入力する。表示制御装置133においてモニタ表示装置134が制御されることにより,モニタ表示装置134の表示画面に立体画像が表示される。
シャッタ・レリーズ・ボタンの第一段階の押し下げがあると,左目用画像データおよび右目用画像データは,AF検出装置142に入力する。AF検出装置142において,第1のフォーカス・レンズ92および第2のフォーカス・レンズ112の合焦制御量が算出される。算出された合焦制御量に応じて,第1のフォーカス・レンズ92および第2のフォーカス・レンズ112が合焦位置に位置決めされる。
左目用画像データは,AE/AWB検出装置144に入力し,そのAE/AWB検出装置144において,左目用画像(右目用画像でもよい)から検出された顔を表わすデータを用いて左目用画像撮像装置90および右目用画像撮像装置110のそれぞれの露出量が算出される。算出された露出量となるように,第1の絞り93の絞り値および第1のCCD94の電子シャッタ時間ならびに第2の絞り113の絞り値および第2のCCD114の電子シャッタ時間が決定される。また,AE/AWB検出装置144において,入力した左目用画像(右目用画像でもよい)から検出された顔を表わすデータから白バランス調整量も算出される。算出された白バランス調整量にもとづいて,右目用映像信号がアナログ信号処理装置101において白バランス調整が行われ,左目用映像信号がアナログ信号処理装置121において白バランス調整が行われる。
シャッタ・レリーズ・ボタンの第二段階の押し下げがあると,3D画像生成装置59において生成された立体画像を表す画像データ(左目用画像データ,右目用画像データ)は圧縮/伸長処理装置140に入力する。圧縮/伸長処理装置140において立体画像を表す画像データが圧縮される。圧縮された画像データがメディア制御装置131によってメモリ・カード132に記録される。左目用画像と右目用画像との重要度に応じて上述のように圧縮率が選択される場合には,左目用画像データと右目用画像データとをSDRAM136に一時的に記憶しておき,左目用画像と右目用画像とのどちらが重要かが上述のように判定される。左目用画像と右目用画像とのうち,重要と判定された画像の圧縮率を高くして(圧縮の割合を高くして),圧縮/伸張装置140において圧縮が行われる。圧縮された画像データがメモリ・カード132に記録される。
さらに,立体撮像ディジタル・カメラには,各種データ類を記憶するVRAM135,上述したスコア・テーブルが格納されているSDRAM136,フラッシュROM137およびROM138も含まれている。また,立体撮像ディジタル・カメラには,バッテリィ83が含まれており,このバッテリィ83から供給される電源が電源制御装置83に与えられる。電源制御装置83から立体撮像ディジタル・カメラを構成する各装置に電源が供給される。さらに,立体撮像ディジタル・カメラには,フラッシュ制御装置85によって制御されるフラッシュ86も含まれている。
立体画像再生モードが設定されると,メモリ・カード132に記録されている左目用画像データおよび右目用画像データが読み取られ,圧縮/伸張装置140に入力する。左目用画像データ及び右目用画像データが,圧縮/伸張装置140において伸張される。伸張された左目用画像データおよび右目用画像データが表示制御装置133に与えられる。すると,モニタ表示装置174の表示画面に立体画像が表示される。
立体画像再生モードが設定されている場合に,同一の被写体について異なる3つ以上の視点から撮像された画像が存在していた場合には,それらの3つ以上の画像から二つの画像が上述のようにして代表画像として決定される。決定された2つの画像がモニタ表示装置134に与えられることにより立体画像が表示される。
二次元画像再生モードが設定されると,メモリ・カード132に記録されている左目用画像データおよび右目用画像データ(異なる視点から撮像された3つ以上の画像を表わす画像データでもよい)が読み取られ,立体画像再生モードと同様に圧縮/伸張装置140において伸張される。伸張された左目用画像データによって表わされる左目用画像および右目用画像データによって表わされる右目用画像のうちいずれかの画像が上述のようにして代表画像として決定される。決定された画像を表わす画像データが表示制御装置133によってモニタ表示装置134に与えられる。モニタ表示装置134の表示画面に代表画像が二次元表示されるようになる。
撮像アシスト・モードが設定されている場合には,上述したように,メモリ・カード132に同一の被写体について異なる視点から撮像された画像が3つ以上あると,撮像視点のアシスト情報(画像,メッセージなど)がモニタ表示装置134の表示画面に表示される。その撮像視点から左目用画像撮像装置90および右目用画像撮像装置110のうち左目用画像撮像装置90を用いて(右目用画像撮像装置110を用いてもよい)被写体が撮像される。
上述の実施例においては,立体撮像ディジタル・カメラを用いているが,立体撮像ディジタル・カメラを用いずに,二次元撮像用のディジタル・カメラを用いてもよい。
上述のように,代表画像が決定される場合には,左目用画像データと右目用画像データと代表画像を識別するデータ(たとえば,フレーム番号など)とが関連づけられてメモリ・カード132に記録される。たとえば,左目用画像データおよび右目用画像データが同一のファイルに格納される場合には,そのファイルのヘッダに左目用画像と右目用画像とのどちらが代表画像かを示すデータが格納されよう。
さらに,上述の実施例では,左目用画像と右目用画像との二つの画像について説明されているが,二つの画像ではなく三つ以上の画像であっても同様に代表画像の決定,圧縮率の選択をすることができるのはいうまでもない。
左目用画像1Lには,人物像2Lおよび3Lが含まれている。右目用画像1Rには,人物像2Rおよび3Rが含まれている。左目用画像1Lに含まれている人物像2Lと右目用画像1Rに含まれている人物像2Rとが同一人物を表わしており,左目用画像1Lに含まれている人物像3Lと右目用画像1Rに含まれている人物像3Rとが同一人物を表わしている。
左目用画像1Lと右目用画像1Rとは異なる視点で撮像されている。このために,左目用画像1Lに含まれている人物像2Lおよび3Lの見え方と右目用画像1Rに含まれている人物像2Rおよび3Rの見え方とが異なっている。左目用画像1Lには現れているが右目用画像1Rには現れていない画像部分がある。逆に右目用画像1Rには現れているが左目用画像部分1Lには現れていない画像部分がある。
この実施例は,異なる視点から撮像された複数の画像のうち少なくとも一部分が共通する複数の画像の中から代表画像を決定するものである。第1a図および第1b図に示す例では,左目用画像1Lまたは右目用画像1Rのうち,いずれかの画像が代表画像として決定される。
第2図は,代表画像を決定する処理手順を示すフローチャートである。
第1a図および第1b図に示すように異なる視点の複数の画像である左目用画像1Lおよび右目用画像1Rが読み取られる(ステップ11)。これらの左目用画像1Lおよび右目用画像1Rを表わす画像データはメモリ・カードなどの記録媒体に記録されており,そのメモリ・カードから読み取られる。もちろん,これらの左目用画像1Lおよび右目用画像1Rを表わす画像データがメモリ・カードに記録されていずに撮像装置から直接得られるものでもよい。撮像装置は,立体撮像が可能なもので左目用画像1Lと右目用画像1Rとが一度に得られるものでもよいし,一つの撮像装置を用いて2回撮像することにより左目用画像1Lと右目用画像1Rとが得られるものでもよい。読み取られた左目用画像1Lおよび右目用画像1Rのそれぞれの画像から,他の画像には現れていない領域(陰領域ということにする。オクルージョン領域)が検出される(ステップ12)。
まず,左目用画像1Lの陰領域が検出される(右目用画像1Rの陰領域から検出してもよい)。左目用画像1Lと右目用画像1Rとを比較して,左目用画像1Lを構成する画素に対応する画素が右目用画像1Rに存在しないような画素で表わされる領域が左目用画像1Lの陰領域とされる。
第3a図および第3b図は,陰領域が図示されている左目用画像1Lおよび右目用画像1Rである。
第3a図に示す左目用画像1Lにおいては,人物像2Lおよび3Lの左側のそれぞれに陰領域4Lがハッチングで図示されている。これらの陰領域4L内の画像部分が右目用画像1Rには含まれていないこととなる。
左目用画像1Lの陰領域4Lが検出されると,その陰領域4Lのスコアが算出される(ステップ13)。スコアの算出方法については後述する。
読み取られた複数の画像のすべての画像について陰領域の検出および陰領域のスコアの算出が終了していなければ(ステップ14でNO),残りの画像について陰領域の検出および陰領域のスコアが算出される。この場合,右目用画像についての陰領域が検出される(ステップ12)。
第3b図は,陰領域が図示された右目用画像1Rである。
右目用画像1Rを構成する画素に対応する画素が左目用画像1Lに存在しないような画素で表わされる領域が右目用画像1Rの陰領域4Rとされる。第3b図に示す右目用画像1Rにおいては,人物像2Rおよび3Rの右側のそれぞれに陰領域4Rがハッチングで図示されている。これらの陰領域4R内の画像部分が左目用画像1Lには含まれていないこととなる。
左目用画像1Lの陰領域4Lのスコアおよび右目用画像1Rの陰領域4Rのスコアがそれぞれ算出される(図2ステップ13)。スコアの算出方法については後述する。
読み取られたすべての画像についての陰領域の検出および陰領域のスコアの算出が終了すると(ステップ14でYES),スコアのもっとも高い陰領域を含んでいる画像が代表画像と決定される(ステップ15)。
第4図から第9図は,スコア・テーブルの一例である。
第4図は,陰領域に含まれている顔領域面積比に応じて決定されるスコアSfの値を示している。
陰領域に含まれている顔の割合が0%から49%,50%から99%または100%であれば,それぞれスコアSfは0,40または100となる。
第5図は,陰領域の画像部分の平均エッジ強度に応じて決定されるスコアSeの値を示している。
エッジ強度が0から255までのレベルの場合,陰領域の画像部分の平均エッジ強度が0から127のレベル,128から191のレベルまたは192から255のレベルであれば,それぞれスコアSeは0,50または100となる。
第6図は,陰領域の画像部分の平均彩度に応じて決定されるスコアScの値を示している。
平均彩度のレベルが0から100までのレベルの場合,陰領域の画像部分の平均彩度が0から59のレベル,60から79のレベルまたは80から100のレベルであれば,それぞれスコアは0,50または100となる。
第7図は,陰領域の画像部分の平均明度に応じて決定されるスコアSbの値を示している。
平均明度のレベルが0から100までのレベルの場合,陰領域の画像部分の平均明度が0から59のレベル,60から79のレベルまたは80から100のレベルであれば,それぞれスコアは0,50または100となる。
第8図は,画像全体に対する陰領域の面積比に応じて決定されるスコアSaの値を示している。
面積比が0%から9%,10%から29%または30%以上の場合であれば,それぞれスコアSaは0,50または100となる。
第9図は,陰領域内の画素の分散値に応じて決定されるスコアSvの値を示している。
分散値が0から99,100から999または1000以上の場合であれば,それぞれスコアSvは10,60または100となる。
このように,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaおよび分散値に応じたスコアSvから総合的なスコアStが式1から算出される。式1において,α1からα6は任意の係数である。これらの係数α1からα6は必要に応じて重み付けが行われる。
St=α1×Sf+α2×Se+α3×Sc+α4×Sb+α5×Sa+α6×Sv・・・式1
このようにして算出されたスコアStがもっとも高い陰領域を含む画像が代表画像と決定される。
上述の実施例では,総合的なスコアStを用いて代表画像を決定しているが,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのいずれか一つのスコアまたは任意の組み合わせのスコアの和がもっとも高い陰領域を含む画像を代表画像としてもよい。たとえば,陰領域に含まれる顔領域面積比(対象物。顔以外の対象物でもよい)のみにもとづいて得られるスコアSfから代表画像を決定してもよい。また,顔領域面積比のスコアSfと,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのうち少なくとも一つと,から代表画像を決定してもよい。
第10a図,第10b図および第10c図ならびに第11図は,変形例を示している。
この変形例は,3フレームの画像から代表画像を決定するものである。4フレーム以上の画像であっても同様である。
第10a図,第10b図および第10c図は,異なる視点で撮像され,少なくとも一部分の撮像範囲が共通する第1の画像31A,第2の画像31Bおよび第3の画像31Cの一例である。第2の画像31Bは,被写体に向かって正面から撮像した場合に得られる画像である。第1の画像31Aは,第2の画像31Bよりも左側(被写体に向かって左側)からの視点で撮像した場合に得られる画像である。第3の画像33Cは,第2の画像31Bよりも右側(被写体に向かって右側)からの視点で撮像された場合に得られる画像である。
第1の画像31Aには,人物像32Aおよび人物像33Aが含まれている。第2の画像31Bには,人物像32Bおよび人物像33Bが含まれている。第3の画像31Cには,人物像32Cおよび人物像33Cが含まれている。人物像32A,32Bおよび32Cが同一人物を表わし,人物像33A,33Bおよび33Cが同一人物を表わしている。
第11図は,陰領域が図示されている第2の画像31Bである。
第2の画像31Bの陰領域には,第2の画像31Bには現れているが第1の画像31Aには現れていない第1の陰領域,第2の画像31Bには現れているが第3の画像31Cは現れていない第2の陰領域および第2の画像31Bには現れているが第1の画像31Aおよび第3の画像31Cの両方に現れていない第3の陰領域が含まれる。
人物像32Bの右側および人物像33Bの右側の陰領域34は,第2の画像31Bには現れているが第1の画像31Aには現れていない第1の陰領域34である。人物像32Bの左側および人物像33Bの左側の陰領域35は,第2の画像31Bには現れているが第3の画像31Cには現れていない第2の陰領域35である。人物像32Bの右側にある第1の陰領域34と人物像33Bの左側にある第2の陰領域35とが重なっている領域が,第2の画像31Bには現れているが第1の画像31Aおよび第3の画像31Cには現れていない第3の陰領域36である。
このように,3フレーム以上の画像の場合,陰領域のスコアを算出する画像以外の他の画像のすべてに現れていない画像部分を示す陰領域(第3の陰領域36)と,他の画像のうち一部の画像にのみ現れていない画像部分を示す陰領域(第1の陰領域34,第2の陰領域35)と,が存在することがある。スコアを算出する場合には,陰領域のスコアを算出する画像以外の他の画像のすべてに現れていない画像部分を示す陰領域から得られるスコアの重みを重くし,他の画像のうち一部の画像にのみ現れていない画像部分を示す陰領域から得られるスコアの重みを重くする(重複している陰領域36のスコアを高くする)。もちろん,このような重みを変えなくともよい。
以上のようにして代表画像が決定されると,二次元用画像を表示する表示装置では,決定された代表画像が表示されるようになる。また,複数の異なる視点の画像を表わす画像データが一つの画像ファイルに格納される場合には,決定された代表画像のサムネイル画像を表わす画像データがファイルのヘッダに記録されるようにしてもよい。もちろん,そのファイルのヘッダには代表画像の識別データが記録されるようにしてもよい。
第12図は,代表画像の決定処理手順を示すフローチャートである。第12図は,第2図の処理に対応するもので,第2図の処理と同一の処理については同一符号を付して説明を省略する。
この実施例では,3フレームの画像が読み取られる(3フレーム以上でもよい)(ステップ11A)。3フレームの画像のそれぞれにおいて,陰領域のスコアが算出される(ステップ12〜14)。3フレームの画像のうち,スコアの高い2フレームの画像が代表画像として決定される(ステップ15A)。このように代表画像は1フレームでなく2フレームでもよい。2フレームの画像が代表画像として決定されることにより,決定された2フレームの画像を用いて立体画像を表示させることができる。もっとも,4フレーム以上の画像が読み取られた場合には代表画像は3フレーム以上であってもよい。
第13図は,代表画像の決定および画像の圧縮処理手順を示すフローチャートである。第13図も第2図に対応するもので,第2図の処理と同一の処理については同一符号を付して説明を省略する。
上述のように代表画像が決定される(ステップ15)。読み取られたすべての画像のそれぞれの画像において,陰領域のスコアが記憶されており,そのスコアが高いほど圧縮の程度が少なくなる低い圧縮率が選択される(ステップ16)。圧縮率はあらかじめ定められており,その定められている圧縮率の中から選択される。選択された圧縮率を用いて,読み取られた画像のそれぞれの画像が圧縮される(ステップ17)。陰領域のスコアが高いほど重要な画像と考えられ,そのような重要な画像ほど高画質となる。
上述の実施例では,算出されたスコアのもっとも高い画像を代表画像と決定した上で,圧縮率を選択(決定)し,その選択された圧縮率で画像が圧縮されているが,スコアの高い画像を代表画像と決定することなく,圧縮率を選択してもよい。すなわち,複数の画像のそれぞれの画像から陰領域を検出し,検出された陰領域のスコアに応じて圧縮率を選択し,その選択された圧縮率で,それぞれの画像を圧縮するようにしてもよい。
上述の実施例においても,上述したように総合的なスコアStを用いて代表画像を決定してもよいし,顔領域面積比に応じたスコアSf,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのいずれか一つのスコアまたは任意の組み合わせのスコアの和に応じて圧縮率を選択してもよい。たとえば,陰領域に含まれる顔領域面積比(対象物。顔以外の対象物でもよい)のみにもとづいて得られるスコアSfから代表画像を決定してもよい。また,顔領域面積比のスコアSfと,平均エッジ強度に応じたスコアSe,平均彩度に応じたスコアSc,平均明度に応じたスコアSb,陰領域の面積比に応じたスコアSaまたは分散値に応じたスコアSvのうち少なくとも一つと,から圧縮率を選択してもよい。
第14図から第18図は,他の実施例を示している。この実施例は,すでに撮像された3フレーム以上の画像を利用して,次に撮像するときに適した視点を決定するものである。この実施例は同一の被写体を異なる視点から撮像するものである。
第14a図,第14b図および第14c図は,異なる視点から撮像することにより得られた第1の画像41A,第2の画像41Bおよび第3の画像41Cである。
第1の画像41Aには,被写体像51A,52A,53Aおよび54Aが含まれている。第2の画像41Bには,被写体像51B,51B,53Bおよび54Bが含まれている。第3の画像41Cには,被写体像51C,52C,53Cおよび54Cが含まれている。被写体像51A,51Bおよび51Cは同一の被写体を表わしている。被写体像52A,52Bおよび52Cは同一の被写体を表わしている。被写体像53A,53Bおよび53Cは同一の被写体を表わしている。被写体像54A,54Bおよび54Cは同一の被写体を表わしている。これらの第1の画像41A,第2の画像41Bおよび第3の画像41Cは隣り合う視点で撮像されたものとする。
上述したように,これらの第1の画像41A,第2の画像41Bおよび第3の画像41Cのそれぞれの陰領域が検出され(第14a図,第14b図および第14c図では陰領域は図示が省略されている),陰領域のスコアが算出される。たとえば,第14a図に示す第1の画像41Aのスコアはスコア60であり,第14b図に示す第2の画像41Bのスコアはスコア50であり,第14c図に示す第3の画像41Cのスコアはスコア10であったものとする。
この実施例では,スコアの上位2つの画像が隣り合っている場合には,その2つの画像を撮像した2つの視点の間の視点から撮像される画像が重要な画像となると考えられる。このために,スコアの上位2つの画像を撮像した2つの視点の間の視点から撮像するようにユーザに知らせられる。第14a図,第14b図および第14c図に示す例では,第1の画像41Aと第2の画像41Bとがスコアの高い上位2つの画像であるから,第1の画像41Aの撮像時の視点と第2の画像41Bの撮像時の視点との間の視点から撮像するようにユーザに知らせられる。たとえば,第1の画像41Aと第2の画像42Aとがディジタル・スチル・カメラの背面に設けられている表示画面に表示され,「表示されている画像の中間から撮像してください」というメッセージを文字で表示する,あるいは音声で出力することとなろう。
第15図は,第1の画像41Aの撮像時の視点と第2の画像41Bの撮像時の視点との間の視点から撮像して得られた画像41Dである。
この画像41Dには,被写体像51D,52D,53Dおよび54Dが含まれている。被写体像51Dは,第14a図,第14b図および第14c図に示した第1の画像41Aの被写体像51A,第2の画像41Bの被写体像51Bおよび第3の画像41Cの被写体像51Cと同じ被写体を表わしている。同様に,被写体像52Dは,被写体像52A,52Bおよび52Cと同じ被写体を,被写体像53Dは,被写体像53A,53Bおよび53Cと同じ被写体を,被写体像54Dは,被写体像54A,54Bおよび54Cと同じ被写体をそれぞれ表わしている。
第16a図,第16b図および第16c図は,異なる視点から撮像することにより得られた第1の画像61A,第2の画像61Bおよび第3の画像61Cである。
第1の画像61Aには,被写体像71A,72A,73Aおよび74Aが含まれている。第2の画像61Bには,被写体像71B,72B,73Bおよび74Bが含まれている。第3の画像61Cには,被写体像71C,72C,73Cおよび74Cが含まれている。被写体像71A,71Bおよび71Cは同一の被写体を表わしている。被写体像72A,72Bおよび72Cは同一の被写体を表わしている。被写体像73A,73Bおよび73Cは同一の被写体を表わしている。被写体像74A,74Bおよび74Cは同一の被写体を表わしている。これらの第1の画像61A,第2の画像61Bおよび第3の画像61Cも隣り合う視点で撮像されたものとする。
これらの第1の画像61A,第2の画像61Bおよび第3の画像61Cにおいてもそれぞれの陰領域が検出され(第16a図,第16b図および第16c図では陰領域は図示が省略されている),陰領域のスコアが算出される。たとえば,第16a図に示す第1の画像61Aのスコアはスコア50であり,第16b図に示す第2の画像61Bのスコアはスコア30であり,第16c図に示す第3の画像61Cのスコアはスコア40であったものとする。
上述のように,スコアの上位2つの画像が隣り合っている場合には,その2つの画像を撮像した2つの視点の間の視点から撮像される画像が重要な画像となると考えられるが,スコアの上位2つの画像が隣り合っていない場合には,もっとも高いスコアの画像が重要と考えられ,その画像を撮像した視点近傍の視点から撮像するようにユーザに知らせられる。第16a図,第16b図および第16c図に示す例では,スコアの高い上位2つの画像は第1の画像61Aと第3の画像61Cであり,これらの画像61Aと61Cとは隣り合った視点で撮像されたものではないから,もっとも高いスコアの画像61Aの視点の近傍から撮像するようにユーザに知らせられる(たとえば,第1の画像61Aを撮像した視点の左側の視点から撮像するようにユーザに知らせられる)。たとえば,第1の画像61Aがディジタル・スチル・カメラの背面に設けられている表示画面に表示され,この画像61Aの視点の左側の視点から撮像することが好ましいという文章が表示されよう。
第17図は,第1の画像61Aの撮像時の視点の左側の視点から撮像して得られた画像61Dである。
この画像61Dには,被写体像71D,72D,73Dおよび74Dが含まれている。被写体像71Dは,第16a図,第16b図および第16c図に示した第1の画像61Aの被写体像71A,第2の画像61Bの被写体像71Bおよび第3の画像61Cの被写体像71Cと同じ被写体を表わしている。同様に,被写体像72Dは,被写体像72A,72Bおよび72Cと同じ被写体を,被写体像73Dは,被写体像73A,73Bおよび73Cと同じ被写体を,被写体像74Dは,被写体像74A,74Bおよび74Cと同じ被写体をそれぞれ表わしている。
重要と思われる画像をユーザに撮像させることができる。
第18図は,上述の撮像アシスト・モードでの撮像処理手順を示すフローチャートである。この処理手順はディジタル・スチル・カメラを用いて撮像するものである。
撮像アシスト・モードが設定されることにより,この処理手順が開始する。撮像の終了などにより撮像モード自体が完了していなければ(ステップ41でNO),同一の被写体を撮像して得られた撮像済みの画像が2フレームよりも多くなっているかどうかが確認される(ステップ42)。撮像済みの画像が2フレームよりも多くなければ(ステップ42でNO),上述したように3フレーム以上の画像を用いて,撮像する視点を決定できないので,ユーザにより決定された異なる視点での撮像が行われる。
撮像済みの画像が2フレームよりも多くなると(ステップ42でYES),メモリ・カードから撮像済みの画像を表わす画像データが読み取られて,上述のように画像ごとにスコアの算出処理が行われる(ステップ43)。
第14a図,第14b図および第14c図に示すように,陰領域のスコアの高い上位2フレームの画像の視点が隣り合っている場合には(ステップ44でYES),陰領域のスコアの高い2フレームの画像の視点の間の視点が撮像視点候補としてユーザに知らせられる(ステップ45)。第16a図,第16b図および第16c図に示すように,スコアの高い上位2フレームの画像の視点が隣り合っていない場合には(ステップ44でNO),スコアのもっとも高い陰領域が含まれている画像の両側(近傍)を撮像視点候補としてユーザに知らせられる(ステップ46)。上述のように,スコアのもっとも高い陰領域を含む画像の両方の視点のうち,画像が撮像されていない方の視点のみを撮像視点候補として知らせてもよい。視点が隣り合っている画像かどうかは,視点の異なる複数の画像のそれぞれに,撮像場所の位置情報が付随している場合には,その位置情報からわかる。また,視点の異なる複数の画像の撮像順序がある方向にしたがって撮像するように視点が変わる方向が決まっており,かつそれらの複数の画像をそれぞれ表わす画像データの画像ファイルまたはメモリ・カードへの格納順序を決めておく場合には,格納順序と視点が変わる方向とが対応しているので,視点が隣り合っている画像かどうかがわかる。さらに,画像を構成する画素が対応する対応点を,画像同士で比較することにより,その比較結果から被写体と撮像したカメラとの位置関係がわかり,視点が隣り合っているかどうかがわかる。
ユーザは,撮像視点候補がわかると,その候補を参考にして被写体を撮像する(ステップ47)。重要と思われる画像が得られるようになる。精度の高い撮像アシストが可能となる。
第19図は,上述の撮像アシスト・モードでの撮像処理手順を示すフローチャートである。この処理手順はディジタル・スチル・カメラを用いて撮像するものである。第19図に示す処理手順は,第18図に示す処理手順に対応するもので,第18図に示す処理と同一の処理については同一符号を付して説明を省略する。
第18図に示す実施例では,スコアの高い2フレームの画像の視点が隣り合っている場合にはスコアの高い2フレームの画像の視点の間を撮像視点候補としてユーザに知らせ,スコアの高い2フレームの画像の視点が隣り合っていない場合にはスコアのもっとも高い画像の両側を撮像視点候補としてユーザに知らせている。これに対して,この実施例では,スコアの高い2フレームの画像の視点が隣り合っているかどうかにかかわらず,スコアのもっとも高い画像の両側(少なくとも一方の側でもよい)が撮像視点候補としてユーザに報知される(ステップ46)。
ユーザは,撮像視点候補がわかると,その候補を参考にして被写体を撮像する(ステップ47)。この実施例においても重要と思われる画像が得られるようになる。精度の高い撮像アシストが可能となる。
第20図は,上述の実施例を実現する立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
メモリ・カード132に上述した動作を制御するプログラムが格納されており,そのプログラムがメディア制御装置131によって読み取られ,立体撮像ディジタル・カメラにインストールされる。もっとも,動作プログラムは立体撮像ディジタル・カメラにプレ・インストールされていてもよいし,ネットワークを介して立体撮像ディジタル・カメラに与えられてもよい。
立体撮像ディジタル・カメラの全体の動作は,メインCPU81によって統括される。立体撮像ディジタル・カメラには,撮像アシスト・モード,立体撮像モード,二次元撮像モード,立体画像再生モード,二次元画像再生モードなどのモード設定ボタン,二段ストローク・タイプのシャッタ・レリーズ・ボタンなどの各種ボタン類が含まれている操作装置88が設けられている。操作装置88から出力される操作信号は,メインCPU81に入力する。
立体撮像ディジタル・カメラには,左目用画像撮像装置90と右目用画像撮像装置110とが含まれている。立体撮像モードが設定されると,これらの左目用画像撮像装置90と右目用画像撮像装置110とによって被写体が連続的に(周期的に)撮像される。撮像アシスト・モードまたは二次元撮像モードが設定されると,左目用画像撮像装置90のみ(右目用画像撮像装置110でもよい)によって被写体が連続的に撮像される。
左目用画像撮像装置90は,被写体を撮像することにより,立体動画を構成する左目用画像を表す画像データを出力するものである。左目用画像撮像装置90には,第1のCCD94が含まれている。第1のCCD94の前方には,第1のズーム・レンズ91,第1のフォーカス・レンズ92,および絞り93が設けられている。これらの第1のズーム・レンズ91,第1のフォーカス・レンズ92,および絞り93は,それぞれズーム・レンズ制御装置95,フォーカス・レンズ制御装置96,および絞り制御装置97によって駆動させられる。立体撮像モードが設定され,第1のCCD94の受光面に左目用画像が結像すると,タイミング・ジェネレータ98から与えられるクロック・パルスにもとづいて,左目用画像を表す左目用映像信号が第1のCCD94から出力される。
第1のCCD94から出力された左目用映像信号は,アナログ信号処理装置101において,所定のアナログ信号処理が行われ,アナログ/ディジタル変換装置102においてディジタルの左目用画像データに変換される。左目用画像データは,画像入力コントローラ103からディジタル信号処理装置104に入力する。ディジタル信号処理装置104において左目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置104から出力された左目用画像データは3D画像生成装置139に入力する。
右目用画像撮像装置110には,第2のCCD114が含まれている。第2のCCD114の前方には,ズーム・レンズ制御装置115,フォーカス・レンズ制御装置116および絞り制御装置117によってそれぞれ駆動させられる第2のズーム・レンズ111,第2のフォーカス・レンズ112および絞り113が設けられている。撮像モードが設定され,第2のCCD114の受光面に右目用画像が結像すると,タイミング・ジェネレータ118から与えられるクロック・パルスにもとづいて,右目用画像を表す右目用映像信号が第2のCCD114から出力される。
第2のCCD114から出力された右目用映像信号は,アナログ信号処理装置121において,所定のアナログ信号処理が行われ,アナログ/ディジタル変換装置122においてディジタルの右目用画像データに変換される。右目用画像データは,画像入力コントローラ123からディジタル信号処理装置124に入力する。ディジタル信号処理装置124において右目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置124から出力された右目用画像データは3D画像生成装置139に入力する。
3D画像生成装置139において,左目用画像データと右目用画像データとから,立体画像を表す画像データが生成されて表示制御装置133に入力する。表示制御装置133においてモニタ表示装置134が制御されることにより,モニタ表示装置134の表示画面に立体画像が表示される。
シャッタ・レリーズ・ボタンの第一段階の押し下げがあると,左目用画像データおよび右目用画像データは,AF検出装置142に入力する。AF検出装置142において,第1のフォーカス・レンズ92および第2のフォーカス・レンズ112の合焦制御量が算出される。算出された合焦制御量に応じて,第1のフォーカス・レンズ92および第2のフォーカス・レンズ112が合焦位置に位置決めされる。
左目用画像データは,AE/AWB検出装置144に入力し,そのAE/AWB検出装置144において,左目用画像(右目用画像でもよい)から検出された顔を表わすデータを用いて左目用画像撮像装置90および右目用画像撮像装置110のそれぞれの露出量が算出される。算出された露出量となるように,第1の絞り93の絞り値および第1のCCD94の電子シャッタ時間ならびに第2の絞り113の絞り値および第2のCCD114の電子シャッタ時間が決定される。また,AE/AWB検出装置144において,入力した左目用画像(右目用画像でもよい)から検出された顔を表わすデータから白バランス調整量も算出される。算出された白バランス調整量にもとづいて,右目用映像信号がアナログ信号処理装置101において白バランス調整が行われ,左目用映像信号がアナログ信号処理装置121において白バランス調整が行われる。
シャッタ・レリーズ・ボタンの第二段階の押し下げがあると,3D画像生成装置59において生成された立体画像を表す画像データ(左目用画像データ,右目用画像データ)は圧縮/伸長処理装置140に入力する。圧縮/伸長処理装置140において立体画像を表す画像データが圧縮される。圧縮された画像データがメディア制御装置131によってメモリ・カード132に記録される。左目用画像と右目用画像との重要度に応じて上述のように圧縮率が選択される場合には,左目用画像データと右目用画像データとをSDRAM136に一時的に記憶しておき,左目用画像と右目用画像とのどちらが重要かが上述のように判定される。左目用画像と右目用画像とのうち,重要と判定された画像の圧縮率を高くして(圧縮の割合を高くして),圧縮/伸張装置140において圧縮が行われる。圧縮された画像データがメモリ・カード132に記録される。
さらに,立体撮像ディジタル・カメラには,各種データ類を記憶するVRAM135,上述したスコア・テーブルが格納されているSDRAM136,フラッシュROM137およびROM138も含まれている。また,立体撮像ディジタル・カメラには,バッテリィ83が含まれており,このバッテリィ83から供給される電源が電源制御装置83に与えられる。電源制御装置83から立体撮像ディジタル・カメラを構成する各装置に電源が供給される。さらに,立体撮像ディジタル・カメラには,フラッシュ制御装置85によって制御されるフラッシュ86も含まれている。
立体画像再生モードが設定されると,メモリ・カード132に記録されている左目用画像データおよび右目用画像データが読み取られ,圧縮/伸張装置140に入力する。左目用画像データ及び右目用画像データが,圧縮/伸張装置140において伸張される。伸張された左目用画像データおよび右目用画像データが表示制御装置133に与えられる。すると,モニタ表示装置174の表示画面に立体画像が表示される。
立体画像再生モードが設定されている場合に,同一の被写体について異なる3つ以上の視点から撮像された画像が存在していた場合には,それらの3つ以上の画像から二つの画像が上述のようにして代表画像として決定される。決定された2つの画像がモニタ表示装置134に与えられることにより立体画像が表示される。
二次元画像再生モードが設定されると,メモリ・カード132に記録されている左目用画像データおよび右目用画像データ(異なる視点から撮像された3つ以上の画像を表わす画像データでもよい)が読み取られ,立体画像再生モードと同様に圧縮/伸張装置140において伸張される。伸張された左目用画像データによって表わされる左目用画像および右目用画像データによって表わされる右目用画像のうちいずれかの画像が上述のようにして代表画像として決定される。決定された画像を表わす画像データが表示制御装置133によってモニタ表示装置134に与えられる。モニタ表示装置134の表示画面に代表画像が二次元表示されるようになる。
撮像アシスト・モードが設定されている場合には,上述したように,メモリ・カード132に同一の被写体について異なる視点から撮像された画像が3つ以上あると,撮像視点のアシスト情報(画像,メッセージなど)がモニタ表示装置134の表示画面に表示される。その撮像視点から左目用画像撮像装置90および右目用画像撮像装置110のうち左目用画像撮像装置90を用いて(右目用画像撮像装置110を用いてもよい)被写体が撮像される。
上述の実施例においては,立体撮像ディジタル・カメラを用いているが,立体撮像ディジタル・カメラを用いずに,二次元撮像用のディジタル・カメラを用いてもよい。
上述のように,代表画像が決定される場合には,左目用画像データと右目用画像データと代表画像を識別するデータ(たとえば,フレーム番号など)とが関連づけられてメモリ・カード132に記録される。たとえば,左目用画像データおよび右目用画像データが同一のファイルに格納される場合には,そのファイルのヘッダに左目用画像と右目用画像とのどちらが代表画像かを示すデータが格納されよう。
さらに,上述の実施例では,左目用画像と右目用画像との二つの画像について説明されているが,二つの画像ではなく三つ以上の画像であっても同様に代表画像の決定,圧縮率の選択をすることができるのはいうまでもない。
Claims (14)
- 異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置,
上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置,および
上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定する決定装置,
を備えた代表画像決定装置。 - 上記スコア算出装置は,
上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合と,陰領域内の画像のエッジ強度,陰領域内の画像の彩度,陰領域内の画像の明るさ,陰領域の面積および陰領域内の画像の分散のうち少なくとも一つと,にもとづいて陰領域の重要度を表わすスコアを算出するものである,
請求の範囲第1項に記載の代表画像決定装置。 - 上記スコア算出装置は,
重複している陰領域のスコアが高くなるように算出するものである,
請求の範囲第2項に記載の代表画像決定装置。 - 上記複数の画像は3フレーム以上の画像であり,
上記決定装置は,
上記スコア算出装置によって算出されたスコアが高い陰領域を含む少なくとも2フレームの画像を代表画像と決定するものである,
請求の範囲第3項に記載の代表画像決定装置。 - 上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置,
をさらに備えた請求の範囲第4項に記載の代表画像決定装置。 - 上記決定装置により決定された代表画像の視点近くの視点から撮像するように報知する第1の報知装置,
をさらに備えた請求の範囲第5項に記載の代表画像決定装置。 - 上記複数の画像は3フレーム以上の画像であり,
上記決定装置は,
上記スコア算出装置によって算出されたスコアが高い陰領域を含む2フレームの画像を代表画像と決定するものであり,
上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたかどうかを判定する判定装置,および
上記判定装置において,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されたと判定されたことにより,その2フレームの画像を撮像した2箇所の視点の間の視点からの撮像をするように報知し,上記決定装置によって決定された2フレームの画像が隣り合う視点で撮像されていないと判定されたことによりスコアのもっとも高い陰領域を含む画像の視点近くの視点からの撮像をするように報知する第2の報知装置,
をさらに備えた請求の範囲第6項に記載の代表画像決定装置。 - 上記決定装置は,上記スコア算出装置によって算出されたスコアがもっとも高い陰領域を含む画像を代表画像と決定するものであり,
上記複数の画像のそれぞれの画像を表わす画像データと上記決定装置によって決定された代表画像を識別するデータとを関連づけて記録媒体に記録する記録制御装置,
をさらに備えた請求の範囲第7項に記載の代表画像決定装置。 - 上記所定の対象物は顔である,請求の範囲第8項に記載の代表画像決定装置。
- 異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出する陰領域検出装置,
上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出するスコア算出装置,および
上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する圧縮装置,
を備えた画像圧縮装置。 - 陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,
スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,
決定装置が,上記スコア算出装置によって算出されたスコアが高い陰領域を含む画像を代表画像と決定する,
代表画像決定装置の動作制御方法。 - 陰領域検出装置が,異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出し,
スコア算出装置が,上記陰領域検出装置によって検出される,複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出し,
圧縮装置が,上記スコア算出装置において算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮する,
画像圧縮装置の動作制御方法。 - 代表画像決定装置のコンピュータを制御するコンピュータ読み取り可能なプログラムであって,
異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出させ,
複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出させ,
算出されたスコアが高い陰領域を含む画像を代表画像と決定させるように代表画像決定装置のコンピュータを制御するプログラム。 - 画像圧縮装置のコンピュータを制御するコンピュータ読み取り可能なプログラムであって,
異なる視点から撮像され,かつ少なくとも一部分が共通する複数の画像のそれぞれの画像から,他の画像に現れていない陰領域を検出させ,
複数の画像のそれぞれの陰領域に含まれている所定の対象物の割合にもとづいて陰領域の重要度を表わすスコアを算出させ,
算出されたスコアが高い陰領域が含まれている画像ほど圧縮の割合が小さくなるように圧縮させるように画像圧縮装置のコンピュータを制御するプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010147755 | 2010-06-29 | ||
JP2010147755 | 2010-06-29 | ||
PCT/JP2011/060687 WO2012002039A1 (ja) | 2010-06-29 | 2011-04-27 | 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012002039A1 true JPWO2012002039A1 (ja) | 2013-08-22 |
Family
ID=45401775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012522500A Withdrawn JPWO2012002039A1 (ja) | 2010-06-29 | 2011-04-27 | 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130106850A1 (ja) |
JP (1) | JPWO2012002039A1 (ja) |
CN (1) | CN102959587A (ja) |
WO (1) | WO2012002039A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9565416B1 (en) | 2013-09-30 | 2017-02-07 | Google Inc. | Depth-assisted focus in multi-camera systems |
US9154697B2 (en) | 2013-12-06 | 2015-10-06 | Google Inc. | Camera selection based on occlusion of field of view |
US11796377B2 (en) * | 2020-06-24 | 2023-10-24 | Baker Hughes Holdings Llc | Remote contactless liquid container volumetry |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1217852A (zh) * | 1997-02-13 | 1999-05-26 | 三菱电机株式会社 | 动态图象预测方式 |
CN100545866C (zh) * | 2005-03-11 | 2009-09-30 | 索尼株式会社 | 图象处理方法、图象处理装置、程序和记录介质 |
JP2009042900A (ja) * | 2007-08-07 | 2009-02-26 | Olympus Corp | 撮像装置および画像選択装置 |
JP2009259122A (ja) * | 2008-04-18 | 2009-11-05 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN101437171A (zh) * | 2008-12-19 | 2009-05-20 | 北京理工大学 | 一种具有视频处理速度的三目立体视觉装置 |
-
2011
- 2011-04-27 WO PCT/JP2011/060687 patent/WO2012002039A1/ja active Application Filing
- 2011-04-27 CN CN2011800323873A patent/CN102959587A/zh active Pending
- 2011-04-27 JP JP2012522500A patent/JPWO2012002039A1/ja not_active Withdrawn
-
2012
- 2012-12-24 US US13/726,389 patent/US20130106850A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2012002039A1 (ja) | 2012-01-05 |
CN102959587A (zh) | 2013-03-06 |
US20130106850A1 (en) | 2013-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5249149B2 (ja) | 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム | |
JP5371845B2 (ja) | 撮影装置及びその表示制御方法並びに3次元情報取得装置 | |
JP5526233B2 (ja) | 立体視用画像撮影装置およびその制御方法 | |
US20120263372A1 (en) | Method And Apparatus For Processing 3D Image | |
US9357205B2 (en) | Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same | |
JP5612774B2 (ja) | 追尾枠の初期位置設定装置およびその動作制御方法 | |
JP5467993B2 (ja) | 画像処理装置、複眼デジタルカメラ、及びプログラム | |
JP5874192B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20130083166A1 (en) | Imaging apparatus and method for controlling same | |
JP2011024003A (ja) | 立体動画記録方法および装置、動画ファイル変換方法および装置 | |
WO2012002039A1 (ja) | 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム | |
US9094671B2 (en) | Image processing device, method, and recording medium therefor | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
US9369698B2 (en) | Imaging apparatus and method for controlling same | |
JP5453552B2 (ja) | 撮影装置、方法及びプログラム | |
JP2013175805A (ja) | 表示装置および撮像装置 | |
JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 | |
KR20160078878A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP6757245B2 (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム | |
JP6087617B2 (ja) | 撮像装置及びその制御方法 | |
JP2013070153A (ja) | 撮像装置 | |
JP2011199728A (ja) | 画像処理装置及びこれを備えた撮影装置、並びに画像処理方法 | |
JP2021057825A (ja) | 信号処理装置及び方法、及び撮像装置 | |
JP5751472B2 (ja) | 撮影機器 | |
JP2015076767A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |