以下、本発明の一実施の形態を図に従って説明する。
(第1の実施の形態)
図1(A)は各実施の形態に共通するデジタルカメラ1の正面図、(B)は背面図、(C)は側面透視図である。このデジタルカメラ1の本体2には、その上面部に半押し機能を備えたレリーズ釦(シャッタースイッチ)3と電源スイッチ4とが配置されており、正面部にはグリップ部5、ストロボ6及び撮像レンズ部の受光窓7が配置されている。また、背面部には、モード切替スイッチ8、ズーム操作キー9、カーソルキー10、決定/OKキー11、DISPキー12、メニューキー13及び電子ファインダとしても機能するLCDからなる表示部14、ムービー(動画)の撮影開始/終了キー301が配置されているとともに、メモリ媒体と電池とを収納するメモリ媒体/電池収納部15が設けられている。また、ミラー(又はプリズム)18、レンズ群19及びCCD等で構成される撮像センサ20等が配置されている。
なお、表示部14は、後述するフローチャートに示す処理により、被写体を表示する画像表示部14aと、電子ファインダ−/モニタ表示部14bとして機能する。また、前記レリーズ釦3は、半押しを検知する機能と全押しを検知する機能とを備えている。
図2は、デジタルカメラ1の回路構成を示すブロック図である。このデジタルカメラ1は、AE、AWB、AF等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群19を有している。このレンズ群19の光軸上には撮像センサ20が配置されており、前記レンズ群19は、モーター等を有する駆動部21によって駆動される。
このデジタルカメラ1全体を制御する主制御回路22は、CPU及びその周辺回路で構成されており、プログラムメモリ23に格納されているプログラム等に基づき、データメモリ24をワークエリアとして使用しつつ各部を制御する。この主制御回路22には、撮影制御部25が接続されている。撮影制御部25は、主制御回路22が発生するタイミング信号に基づき、撮像センサ20を駆動するとともに、測光/測距センサ33より測光/測距部34を介して入力される測光データ及び測距データに基づき、前記駆動部21及び映像信号処理部26を制御する。
前記撮像センサ20の受光面には、レンズ群19によって被写体が結像される。撮像センサ20は、撮影制御部25によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部26へ出力する。映像信号処理部26は、撮像センサ20の出力信号に含まれるノイズを相関二重サンプリングによって除去するCDS回路や、ノイズが除去された撮像信号をデジタル信号に変換するA/D変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度(Y)信号及び色差(UV)信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。
映像信号処理部26で変換されたYUVデータは順次画像メモリ27に格納されるとともに、RECスルー・モードでは1フレーム分のデータ(画像データ)が蓄積される毎にビデオ信号に変換され、表示制御部28を介して前記表示部14へ送られてスルー画像として画面表示される。したがって、このとき表示部14は電子ファインダ29として機能する。なお、表示部14を電子ファインダ29として機能させる際には、その中央部にフォーカス枠を表示させ、このフォーカス枠内のをAFエリアとして、AFがなされる。
そして、静止画撮影モードにおいては、前記レリーズ釦3に対する操作をトリガとして、主制御回路22は、撮像センサ20、撮影制御部25、及び映像信号処理部26に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリ27に一時記憶された画像データは、圧縮符号化・伸張復号部30で圧縮及び符号化され、所定のフォーマットの静止画ファイルとして、画像&音声メモリ媒体31(又は後述するHDD記憶装置46の磁気ディスク48)に記録される。
また、動画撮影モードにおいては、ムービー(動画)の撮影開始/終了キー301の1回目のキー操作と2回目のキー操作との間に、画像メモリ27に順次記憶される複数の画像データが圧縮符号化・伸張復号部30で順次圧縮され、順次記憶された後、動画ファイルとして画像&音声メモリ媒体31(又は後述するHDD記憶装置46の磁気ディスク48)に記録される。この画像&音声メモリ媒体31(又は磁気ディスク48)に記録された静止画ファイル及び動画ファイルは、PLAY・モードにおいてユーザの選択操作に応じて圧縮符号化・伸張復号部30に読み出されて伸張及び復号化され、YUVデータとしてに展開された後、表示部14に表示される。したがって、このとき表示部14は画像モニタ32として機能する。
前記プログラムメモリ23には、主制御回路22に前記各部を制御させるための各種のプログラム、例えばAE、AF、AWB制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。また、主制御回路22には、操作入力部35が入力回路36を介して接続されているとともに、時計回路80が接続されている。操作入力部35には、前記レリーズ釦3や電源スイッチ4等の図1に示したスイッチやキー群等が設けられている。
また、このデジタルカメラ1は、前記動画撮影モード等において、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイク39が設けられている。このマイク39からの音声信号は、アンプ40で増幅され、A/D変換器41でデジタル変換され、音声メモリ42に格納される。この音声メモリ42に格納された音声データは、前記圧縮符号化・伸張復号部30で圧縮される。主制御回路22は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して画像&音声メモリ媒体31(又は後述するHDD記憶装置46の磁気ディスク48)に記録する。この画像&音声メモリ媒体31(磁気ディスク48)に記録された動画ファイルの音声データは、PLAY・モードにおいてユーザの選択操作に応じて圧縮符号化・伸張復号部30に読み出されるとともに伸張及び復号化される。この伸張及び復号化された音声データは、D/A変換器43でアナログ信号に変換され、アンプ44を介してスピーカ45に供給されて音声として再生される。
また、このデジタルカメラ1は、外部入出力インタフェース38を介して主制御回路22に接続された外部入出力端子37を備えている。この外部入出力端子37には、PC等の外部機器70を接続することが可能である。外部機器は70は、ゲートウェイGW及びインターネット71を介して、サーバー装置77や他のPC等の外部機器74に接続可能である。サーバー装置77は、画像データを格納する画像データベース73接続されており、外部機器74は無線AP75に接続可能である。
一方、HDD記憶装置46は、HDD・IF47を介して主制御回路22に接続されている。HDD記憶装置46は、前記磁気ディスク48を有するとともに、モータ49、モータドライバ50、マイコン部51、VCM52、ヘッドアンプ53、リード/ライトチャンネル54、HDD制御部55等を有している。
また、主制御回路22には、画像・音声の特徴抽出/認識用データメモリ56が画像・音声の特徴抽出/認識処理部57を介して接続されている。後述するように、主制御回路22は、画像・音声の特徴抽出/認識処理部57を制御して、前記撮像センサ20により取り込まれた画像、及び前記マイク39により取り込まれた音声の特徴を抽出するとともに認識し、画像・音声の特徴抽出/認識用データメモリ56は、これら抽出及び認識された画像の特徴や音声の特徴等を記憶する。また、主制御回路22の制御下で画像・音声の特徴抽出/認識処理部57が抽出あるいは抽出した特徴の記述データは、圧縮符号化・伸張復号部30で圧縮符号化されて画像&音声メモリ媒体31に記憶される。したがって、画像&音声メモリ媒体31には、画像メモリ27及び音声メモリ42側から入力された画像/音声データ31aと、画像・音声の特徴抽出/認識処理部57側から入力された特徴記述データ31bとが記憶される。
なお、主制御回路22には、前記無線AP75と無線LAN通信を行う無線LAN通信部78が通信インタフェース79を介して接続されている。
さらに、このデジタルカメラ1は、地上波テレビデジタル放送を受信する機能を備えている。この機能を達成するために、アンテナ81、デジタル放送チューナ82、及び主制御回路22に接続されたデジタルTV制御部84を有している。デジタルTV制御部84は、アプリケーション・プログラムメモリ86に格納されているプログラム等に基づき、データメモリ85をワークエリアとして使用しつつデジタルテレビ放送受信に関連する制御を実行する。そして、制御により得られたデジタル映像データと音声データのうち映像データを前記映像信号処理部26に供給し、デジタル映像データと音声データを主制御回路22に供給する。
図3は、本実施の形態の処理手順を示すフローチャートであり、主制御回路22はプログラムメモリ23に格納されているプログラム等に基づき、図3に示すフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部35での操作により、撮影モードが設定されているか否かを判断する(ステップS101)。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する(ステップS102)。撮影モードが設定されたならば、操作入力部35での操作に応じて、露出条件やホワイトバランス等の撮影条件を設定するとともに、ファインダ(表示部14)の表示方式を選択する(ステップS103)。さらに、操作入力部35での操作によりデジタル放送の受信映像表示が選択されたか否かを判断し(ステップS104)、選択された場合にはデジタル放送を受信して、復調するとともに復号処理する(ステップS105)。
次に、前記ステップS103で判断された表示方式の選択が、上下に分割表示であるか否かを判断する(ステップS106)。上下に分割表示である場合には、デジタル放送受信映像をファインダ画面(表示部14)の上(又は下)に、撮像信号の被写体像を下(又は上)に、並列表示する(ステップS107)。したがって、このステップS107での処理により、図4(A)に示すように、例えば表示部14の下半部に撮像センサ20により撮像した画像である被写体像141が表示され、上半部にデジタル放送チューナ82により受信したデジタル放送受信映像である放送映像142が表示される。
また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する(ステップS108)。左右に分割表示である場合には、デジタル放送受信映像をファインダ画面(表示部14)の左(又は右)に、撮像信号の被写体像を右(又は左)に、並列表示する(ステップS109)。したがって、このステップS109での処理により、図4(B)に示すように、例えば表示部14の左半部に放送映像142が表示され、右半部に被写体像141が表示される。
また、左右に分割表示でない場合には、PinP(ピクチャーインピクチャー)表示であるか否かを判断する(ステップS110)。PinPである場合には、デジタル放送受信映像をファインダ画面(表示部14)の端の小窓(又は他領域)に、撮像信号の被写体像をその他の領域(又は小窓)に表示する(ステップS111)。したがって、このステップS111での処理により、図4(C)に示すように、例えば表示部14の小窓に放送映像142が表示され、その他の領域に被写体像141が表示される。
さらに、前記ステップS104での判断がNOであって、デジタル放送の受信映像表示が選択されなかった場合には、撮像信号による被写体像をファインダ画面(表示部14)に表示する(ステップS112)。したがって、このステップS112での処理により、図4(D)に示すように、表示部14には被写体像141が全画面表示される。
よって、ユーザは、表示方式を選択することより、図4(A)〜(C)のいずれかの表示態様で表示部14に被写体像141と放送映像142とを表示させたり、被写体像141のみを表示させたりすることができる。
なお、表示方式の選択により、放送映像142のみを表示部14に表示させるようにしてもよい。
次に、ズーム操作キー9によるズーム操作があったか否かを判断し(ステップS113)、ズーム操作があった場合には、ズーム操作に従って、駆動部21を制御してズームレンズを駆動する光学ズーム処理及び/又は映像信号処理部26で撮像センサ22からの画像データをズーム処理する電子ズーム処理を実行する(ステップS114)。
引き続き、前記被写体像141のスルー表示処理を実行し、前記ステップS115で行った電子ズーム処理における当該カメラ1の電子ズーム倍率に応じて、被写体像141の拡大又は縮小、補間処理を実行する(ステップS115)。したがって、このステップS115での処理により図4(A)〜(D)において、被写体像141はユーザの操作に応じて設定された電子ズーム倍率に応じた大きさで、表示部14に表示さることとなる。
また、再度デジタル放送の受信映像表示が選択されたか否かを判断する(ステップS116)。デジタル放送の受信映像表示が選択されている場合には、前記ステップS114及びS115におけるカメラのズーム倍率と電子ズーム倍率の積、つまり「カメラのズーム倍率×電子ズーム倍率」に応じて、デジタル放送の受信映像部分つまり放送映像142の拡大又は縮小、補間処理を実行する(ステップS117)。したがって、このステップS115での処理により図4(A)〜(D)において、放送映像142はユーザの操作に応じて設定された被写体像141の倍率に連動した大きさで、表示部14に表示さることとなる。
したがって、被写体像141のズーム倍率を調整することにより、これと同期して放送映像142のズーム倍率を変化させることができる。
そして、レリーズ釦3の操作又は撮影開始/終了キー301による撮影操作があったか否かを判断し(ステップS118)、ない場合にはその他のキー処理、表示処理を実行する(ステップS119)。
また、レリーズ又は撮影操作があった場合には、前記ステップS103で設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ20、撮影制御部25、及び映像信号処理部26に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ27に一時記憶する(ステップS120)。
引き続き、撮影画像とデジタル放送受信映像との合成記録がON設定されているか否を判断する(ステップS121)。ON設定されていない場合には、前記ステップS120の処理で撮像センサ20から取り込まれて画像メモリ27に一時記されている憶画像データを圧縮、符号化する(ステップS125)。
また、撮影画像とデジタル放送受信映像との合成記録がON設定されている場合には、合成設定条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する(ステップS122)。ここで、合成設定条件とは、例えば前記図4(A)(B)(C)に示したように、被写体像141に対する放送映像142の合成形態である。したがって、仮に合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像142に相当するフレーム部分を抽出する。
次に、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成する(ステップS123)。つまり、前述した例のように、合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件が設定されている場合には、下半部に被写体像141を合成し上半部に放送映像142を合成して1フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する(ステップS124)。
そして、前記ステップS125で圧縮、符号化された撮影画像、又は前記ステップS124で圧縮、符号化された合成画像を、画像&音声メモリ媒体31(又は磁気ディスク48)に記録する(ステップS126)。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ(表示部14)にレビュー表示する(ステップS127)。
したがって、この第1の実施の形態によれば、プロが撮影を行っているテレビ放送の映像を参照映像として用い、これを参照しながら、被写体の撮影を行うことができる。よって、構図や画角の決定、被写体のポーズや動き方、その速さやテンポなどを、参照映像と比較しながら、撮影を行うことができ、その結果、アマチュアであってもプロに近い撮影を行うことができる。
なお、本実施の形態においては、表示部14に被写体像141と放送映像142とを表示させて、これらを合成して記録するようにしたが、下記のようにしてもよい。
(1)被写体像141と画像&音声メモリ媒体31に予め記憶された画像の再生画像とを同時表示させ、これら被写体像141と再生画像とを合成して記録する。
(2)被写体像141と磁気ディスク48に予め記憶されたテレビ放送の録画画像とを表示させ、これら被写体像141と録画画像とを合成して記録する。
これにより、現在放送中のテレビ放送の映像のみならず、既に記録されている任意の画像と被写体像141とを合成して記録することができる。
(第2の実施の形態)
図5は、本発明の第2の実施形態における処理手順を示すフローチャートである。先ず、ユーザによる操作入力部35での操作により、再生モードが設定されているか否かを判断する(ステップS201)。再生モードが設定されていない場合には、撮影モード、設定モードなど、その他のモード処理へ移行する(ステップS202)。再生モードが設定されたならば、操作入力部35での操作に応じて、画像&音声メモリ媒体31(又は磁気ディスク48)から再生したい記録済みの撮影画像を選択する(ステップS203)。この選択に際しては、表示部14に記録済み撮影画像のリストを表示して、このリストから操作入力部35での操作により選択された撮影画像を再生対象として決定する。
さらに、操作入力に応じて、録画済みデジタル放送受信映像の中から、再生したい録画画像又は映像を選択する(ステップS205)。つまり、HDD記憶装置の磁気ディスク48には、ユーザが予めデジタル放送を受信して録画した録画画像(静止画像)や録画映像(動画像)が記憶されている。また、前述と同様に、表示部14に録画済みの録画画像(静止画像)や録画映像(動画像)のリストを表示して、このリストから操作入力部35での操作により選択された画像、映像を再生対象として決定する。そして、前記ステップS203で選択された記録済みの撮影画像又は動画像と、前記ステップS205で選択された録画済みのデジタル放送受信の画像又は像画像とを、同期して復号処理する(ステップS206)。
次に、前記ステップS204で判断された同時再生の選択が、上下に分割表示であるか否かを判断する(ステップS207)。上下に分割表示である場合には、前記選択されたデジタル放送の録画画像又は映像を画像モニタ(表示部14)の上(又は下)に、記録済みの撮影画像又は像画像を下(又は上)に並列して、再生表示する(ステップS208)。したがって、このステップS208での処理により、図6(A)に示すように、例えば表示部14の下半部に記録済みの撮影画像/動画像143が表示され、上半部に放送録画の画像/動画像144が表示される。
また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する(ステップS209)。左右に分割表示である場合には、選択されたデジタル放送の録画画像又は映像をファインダ画面(表示部14)の左(又は右)に、記録済みの撮影画像又は像画像を右(又は左)に、並列表示する(ステップS210)。したがって、このステップS210での処理により、図6(B)に示すように、例えば表示部14の左半部に放送録画の画像/動画像144が表示され、右半部に記録済みの撮影画像/動画像143が表示される。
また、左右に分割表示でない場合には、PinP(ピクチャーインピクチャー)表示であるか否かを判断する(ステップS211)。PinPである場合には、デジタル放送の録画画像又は映像をファインダ画面(表示部14)の端の小窓(又はその他領域)に、記録済みの撮影画像又は像画像をその他の領域(又は小窓)に表示する(ステップS212)。したがって、このステップS212での処理により、図6(C)に示すように、例えば表示部14の小窓に放送録画の画像/動画像144が表示され、その他の領域に記録済みの撮影画像/動画像143が表示される。
さらに、前記ステップS204での判断がNOであって、デジタル放送の録画映像との同時再生が選択されなかった場合には、前記ステップS203で選択された記録済みの撮影画像又は動画像の復号処理を実行し(ステップS213)、この選択された画像又は動画像を画像モニタ(表示部14)に表示する(ステップS214)。したがって、このステップS214での処理により、表示部14には選択された記録済みの撮影画像又は動画像が全画面表示される。
よって、ユーザは、表示方式を選択することより、図6(A)〜(C)のいずれかの表示態様で表示部14に放送録画の画像/動画像144と、記録済みの撮影画像/動画像143とを同時再生表示させたり、記録済みの撮影画像/動画像143のみを表示させたりすることができる。
また、図6(A)〜(C)のいずれかの表示態様で表示部14に放送録画の画像/動画像144と、記録済みの撮影画像/動画像143とを同時再生表示させることにより、以前に放送された番組の記録映像の情景と、ユーザ自身が撮影した最近の映像の情景とを比較しながら同時に観賞することができる。これにより、季節や時間の変化による情景の移り変わりを視覚上で楽しんだり、把握したりすることができる。
なお、表示方式の選択により、放送録画の画像/動画像144のみを表示部14に表示させるようにしてもよい。
次に、ズーム操作キー9によるズーム操作があったか否かを判断する(ステップS215)。ズーム操作があった場合には、ズーム操作に従って、選択された記録済みの撮影画像の再生ズーム処理を行って、当該選択された記録済みの撮影画像を拡大、縮小処理するとともに必要に応じて補間処理する(ステップS216)。また、デジタル放送の録画映像との同時再生が選択されているか否かを判断する(ステップS217)。同時再生が選択されている場合には、前記ステップS216でズーム処理したズーム倍率に連動して、録画されたデジタル放送の画像又は動画像部分の再生表示を拡大、縮小、補間処理する(ステップS218)。
したがって、図6(A)〜(C)の再生表示状態において、ズーム操作キー9を操作すると、記録済みの撮影画像/動画像143が拡大、縮小表示されるとともに、これに連動して放送録画の画像/動画像144も拡大、縮小表示されることとなる。これにより、図時のように放送録画したサッカーにおけるプロの選手のフォームやタイミングと、録画した自己のフォームやタイミングとを明瞭に比較することでき、これにより、効果的なスポールの技術習得や練習を行うことができる。
なお、本実施の形態においては、操作に応じて、撮影画像/動画像143と放送録画の画像/動画像144とを連動して拡大、縮小表示させるようにしたが、操作に応じて、撮影動画像と放送録画の動画像との再生速度を連動させるようにしてもよい。これにより、両者を同期させたスロー再生も可能となり、効果的なスポーツの技術習得や練習を行うことができる。
(第3の実施の形態)
図7は、本発明の第3の実施形態における処理手順を示すフローチャートである。主制御回路22はプログラムメモリ23に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部35での操作により、撮影モードが設定されているか否かを判断する(ステップS301)。撮影モードが設定されていない場合には、設定モードが設定されているか否かを判断する(ステップS302)。設定モードが設定されている場合には、撮影設定、録画検索設定、特徴抽出方法の設定などの設定処理に移行し(ステップS303)、設定モードが設定されていない場合には、再生モードなどの、その他のモード処理へ移行する(ステップS304)。
撮影モードが設定されたならば、操作入力部35でのユーザ操作に応じて、撮影条件を設定するとともに(ステップS305)、ズーム処理、AF処理を実行し(ステップS306)、表示部14に被写体像のスルー映像を表示する(ステップS307)。引き続き、レリーズ釦3が半押し操作されたか否かを判断し(ステップS308)、半押し操作されない場合には、その他のキー処理を実行して(ステップS309)、ステップS306に戻る。したがって、レリーズ釦3が半押し操作されるまでステップS306〜S309のループが繰り返される。
そして、ユーザが表示部14に表示される被写体像のスルー映像を視認して、レリーズ釦3を半押し操作すると、ステップS308からステップS310に進み、測光処理、WB処理、AE/AF処理を実行する。また、類似映像の放送検索機能がONとなっているか否かを判断し(ステップS311)、類似映像の放送検索機能がOFFとなっている場合には、通常の撮影処理、つまり撮影された被写体像の画像データを圧縮、符号化して、画像&音声メモリ媒体31に記録する(ステップS312)。
しかし、類似映像の放送検索機能がONとなっている場合には、先ず被写体像の撮像信号から主被写体の画像を画像メモリ27に記憶する(ステップS313)。次に、この記憶した被写体像の画像データから所定の特徴量を抽出してデータメモリ24に記憶する(ステップS313)。なお、このステップS313や後述するステップS316等における特徴量の抽出に関しては、図8に示すフローチャートにより詳述する。
次に、デジタル放送の各チャンネルの受信データを順次読み出す(ステップS315)。そして、おの受信データの映像から所定の特徴量を抽出、又は特徴データ(メタ情報)を抽出してデータメモリ24に記憶する(ステップS316)。さらに、このステップS316でデータメモリ24に記憶した当該画像データの特徴量と、前記ステップS314でデータメモリ24に記憶した被写体像の特徴量とを比較し、類似度を評価する(ステップS317)。
さらに、この評価に基づき、両者の類似度が所定値より大きいか否かを判断し(ステップS318)、大きくない場合にはステップS319及びS320の処理を行うことなくステップS321に進む。また、前記画像データの特徴量と、被写体像どの類似度が所定値より大きい場合には、その類似度は前回までの最大値より大きいか否かを判断する(ステップS319)。大きい場合には、当該チャンネルと類似度とをデータメモリ24に記憶する(ステップS320)。
次に、最後の放送チャンネルか否かを判断し(ステップS321)、最後の放送着ネルとなるまで、次のチャンネルを選択して(ステップS322)、ステップS315からの処理を繰り返す。
したがって、ステップS315〜S321の処理は、このデジタルカメラ1において受信可能なチャンネル数に相当する回数繰り返される。そして、被写体像と特徴量が所定以上大きい画像データの受信チャンネルがある場合には、最終的に最も類似度の大きいチャンネルとその類似度とがデータメモリ24に記憶された状態となる。しかし、被写体像と特徴量が所定以上大きい画像データの受信チャンネルがなかった場合には、データメモリ24には、チャンネルや類似度は記憶されないことになる。
したがって、ステップS321がYESとなって最後の放送チャンネルまでの検索を終了した際には、ステップS323に進み、データメモリ24の記憶状態に基づき、映像が類似するチャンネルが検索されたか否かを判断する。検索されなかった場合、つまりデータメモリ24にチャンネルや類似度が記憶されていなかった場合には、類似映像のチャンネルが見つからない旨を表示部14に表示し、又はスピーカ45からエラー音を発生させる等のエラー処理を実行する(ステップS324)。
また、映像が類似するチャンネルが検索された場合、つまりデータメモリ24にチャンネルと類似度とが記憶されている場合には、デジタル放送のチャンネルを類似度の最も高かったチャンネル、つまり最終的にデータメモリ24に記憶されているチャンネルに切り替える(ステップS325)。そして、当該チャンネルの放送映像を受信して(ステップS326)、当該チャンネルの受信映像をファインダの一部に表示する(ステップS327)。
したがって、本実施の形態によれば、デジタルカメラ1での撮影時における被写体の種別やシーンなどを画像特徴量から識別、分類するとともに、現在放送中のテレビ番組の内容をメタデータで検索するとともに、被写体像の特徴と類似する種類や内容があるか検索して、検索に成功した場合には、最も類似するテレビ放送のチャンネルに切り替え、表示部14の一部に被写体像とともに表示することができる。
よって、デジタルカメラ1の表示部14に被写体像を表示するだけで、サッカー試合などの撮影中に、それと同じ試合や関連する放送番組、あるいはそのデジタル情報をすぐに検索して見ることができる。
なお。このフローチャートにおいては、当該チャンネルの放送映像を受信して(ステップS326)、当該チャンネルの受信映像をファインダの一部に表示する処理(ステップS327)までを示したが、レリーズ釦3の全押し操作に応答して、撮影記録を開始し、被写体像を受信映像とともに合成記録したり、被写体像のみを記録する処理を行うようにしてもよい。また、ステップS327の処理に続いて自動的に、つまり当該チャンネルの受信映像の受信や表示をトリガとして、自動的に撮影、合成、記録を開始するようにしてもよい。これより、類似度の高い被写体像と受信映像とを自動撮影することもできる。
図8は、前記図7に示したフロー中の、特徴量を抽出する処理(ステップS314、ステップS316等)の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量又は特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して出力すものである。
すなわち、対象画像データファイルを読み込み(ステップS401)、特徴抽出処理の設定データを読み込む(ステップS402)。次に、抽出する特徴はオートに設定されているか否かを判断し(ステップS403)、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する(ステップS404)。また、オートに設定されている場合には、当該画像の撮影情報を読み込み(ステップS405)、撮影モード又は撮影条件に基づいて、抽出する特徴の種類を選択する(ステップS406)。
そして、このステップS406又は前記ステップS404に続き、抽出する特徴の種別に応じて、前処理、及び、特徴抽出手段を選択した後(ステップS407)、前処理1(ステップS408)及び前処理2(ステップS409)を実行する。前処理1においては、画像強調、又は、鮮鋭化などを行い、前処理2においては、2値化、又は、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。
しかる後に、特徴抽出処理(色領域の抽出)(ステップS410)、特徴抽出処理(輪郭形状の特徴抽出)(ステップS412)、特徴抽出処理(テクスチャーの特徴抽出)(ステップS414)、特徴抽出処理(位置・配置の特徴抽出)(ステップS416)、・・・特徴抽出処理(動きの抽出)(ステップS418)等を実行する。そして、特徴抽出処理(色領域の抽出)(ステップS410)を実行した場合には、代表色、色分布、RGBヒストグラム、DCT係数などの特徴記述データを作成する(ステップS411)。特徴抽出処理(輪郭形状の特徴抽出)(ステップS412)を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する(ステップS413)。特徴抽出処理(テクスチャーの特徴抽出)(ステップS414)を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する(ステップS415)。特徴抽出処理(位置・配置の特徴抽出)(ステップS416)を実行した場合には、位置座標、DCT係数など特徴記述データを作成する(ステップS417)。特徴抽出処理(動きの抽出)(ステップS418)を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する(ステップS419)。
前記色の特徴抽出では、当該他像の色データに基づいて、RGBやHSV値などの色差ヒストグラムや色分布、あるいは、色差成分のDCT変換後のDCT係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、P型フーリエ記述子(後述)等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やDCT変換により周波数空間に変換した場合のDCT係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、DCT変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。
次に、認識処理をするか否かを判断し(ステップS420)、認識処理をする場合には、認識対象のテンプレートデータ(図12参照)を読み込む(ステップS421)。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、又は、相関度、類似度、類似距離、差分我の算出などを行い(ステップS422)。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、又は、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップS410〜S419の処理により、抽出されたデータ、又は、前記ステップS422の処理による認識結果を出力する(ステップS423)。
(第4の実施の形態)
図9は、本発明の第4の実施形態における処理手順を示すフローチャートである。主制御回路22はプログラムメモリ23に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部35での操作により、撮影モードが設定されているか否かを判断する(ステップS501)。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する(ステップS502)。撮影モードが設定されたならば、操作入力部35での操作に応じて、露出条件やホワイトバランス等の撮影条件を設定するとともに、ファインダ(表示部14)の表示方式を選択する(ステップS503)。さらに、操作入力部35での操作によりデジタル放送の受信映像表示が選択されたか否かを判断し(ステップS504)、選択された場合にはデジタル放送を受信して、復調するとともに復号処理する(ステップS505)。
次に、前記ステップS503で判断された表示方式の選択が、上下に分割表示であるか否かを判断する(ステップS506)。上下に分割表示である場合には、デジタル放送受信映像をファインダ画面(表示部14)の上(又は下)に、撮像信号の被写体像を下(又は上)に、並列表示する(ステップS507)。したがって、このステップS507での処理により、図4(A)に示すように、例えば表示部14の下半部に撮像センサ20により撮像した画像である被写体像141が表示され、上半部にデジタル放送チューナ82により受信したデジタル放送受信映像である放送映像142が表示される。
また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する(ステップS508)。左右に分割表示である場合には、デジタル放送受信映像をファインダ画面(表示部14)の左(又は右)に、撮像信号の被写体像を右(又は左)に、並列表示する(ステップS509)。したがって、このステップS509での処理により、図4(B)に示すように、例えば表示部14の左半部に放送映像142が表示され、右半部に被写体像141が表示される。
また、左右に分割表示でない場合には、PinP(ピクチャーインピクチャー)表示であるか否かを判断する(ステップS510)。PinPである場合には、デジタル放送受信映像をファインダ画面(表示部14)の端の小窓(又は他領域)に、撮像信号の被写体像をその他の領域(又は小窓)に表示する(ステップS511)。したがって、このステップS511での処理により、図4(C)に示すように、例えば表示部14の小窓に放送映像142が表示され、その他の領域に被写体像141が表示される。
さらに、前記ステップS504での判断がNOであって、デジタル放送の受信映像表示が選択されなかった場合には、撮像信号による被写体像をファインダ画面(表示部14)に表示する(ステップS512)。したがって、このステップS512での処理により、図4(D)に示すように、表示部14には被写体像141が全画面表示される。
よって、ユーザは、表示方式を選択することより、図4(A)〜(C)のいずれかの表示態様で表示部14に被写体像141と放送映像142とを表示させたり、被写体像141のみを表示させたりすることができる。
なお、表示方式の選択により、放送映像142のみを表示部14に表示させるようにしてもよい。
次に、操作入力部35での操作によりデジタル放送の受信映像表示が選択されたか否かを再度判断する(ステップS513)。デジタル放送の受信映像表示が選択された場合には、当該受信放送チャンネルから、映像やシーンの特徴、撮影条件等に関連するメタ情報(付属デジタル情報)を抽出する(ステップS514)。なお、このステップS514における映像やシーンの特徴の抽出は、前述した図8に示すフローに従って行えばよい。
引き続き、当該抽出されたメタ情報(付属デジタル情報)に応じて、撮影条件又はその一部を変更して設定する(ステップS515)。より具体的には、下記の処理等を行う。
1)受信放送のシーンがスポーツの場合、スポーツシーンに適した露出条件に変更する。
2)受信放送の被写体が人物である場合、人物の顔検出機能をONに設定する。
3)受信映像の季節や時間が夏の白昼の戸外の場合、昼光の屋外に合わせてホワイトバランスや撮影感度を調整する。
4)受信映像の構図、画角が広角の遠景の場合、それに応じて焦点距離(望遠ズーム倍率)や画角、マクロ等を設定する。
そして、レリーズ釦3の操作又は撮影開始/終了キー301による撮影操作があったか否かを判断し(ステップS516)、ない場合にはその他のキー処理、表示処理を実行する(ステップS517)。
また、レリーズ又は撮影操作があった場合には、前記ステップS503及びステップS515で設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ20、撮影制御部25、及び映像信号処理部26に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ27に一時記憶する(ステップS518)。
引き続き、撮影画像とデジタル放送受信映像との合成記録がON設定されているか否を判断する(ステップS519)。ON設定されていない場合には、前記ステップS518の処理で撮像センサ20から取り込まれて画像メモリ27に一時記されている憶画像データを圧縮、符号化する(ステップS523)。
また、撮影画像とデジタル放送受信映像との合成記録がON設定されている場合には、合成設定条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する(ステップS520)。ここで、合成設定条件とは、例えば前記図4(A)(B)(C)に示したように、被写体像141に対する放送映像142の合成形態である。したがって、仮に合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像142に相当するフレーム部分を抽出する。
次に、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成する(ステップS521)。つまり、前述した例のように、合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件が設定されている場合には、下半部に被写体像141を合成し上半部に放送映像142を合成して1フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する(ステップS522)。
そして、前記ステップS522で圧縮、符号化された撮影画像、又は前記ステップS524で圧縮、符号化された合成画像を、画像&音声メモリ媒体31(又は磁気ディスク48)に記録する(ステップS524)。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ(表示部14)にレビュー表示する(ステップS525)。
したがって、この第4の実施の形態によれば、受信した映像を見本映像として、見本映像の被写体の種類に応じて撮影モードを自動選択したり、見本映像の季節や日時合わせて、ホワイトバランスや撮影感度を調整したり、構図や画角に応じてデジタルカメラ1の焦点距離やズーム倍率を自動設定して、被写体に応じた適切な撮影条件で撮影を行うことができる。
なお、本実施の形態においては、受信した放送中の映像を見本映像として用いるようにしたが、予めHDD記憶装置46の磁気ディスク48に記録した記録画像を見本映像として用いるようにしてもよい。この場合、ステップS514で記録画像の再生画像から関連するメタ情報を抽出して、以降の処理を実行することになる。これにより、記録画像の被写体の種類に応じて撮影モードを自動選択したり、季節や日時合わせて、ホワイトバランスや撮影感度を調整したり、構図や画角に応じてデジタルカメラ1の焦点距離やズーム倍率を自動設定して、被写体に応じた適切な撮影条件で撮影を行うことができる。
(第5の実施の形態)
図10は、本発明の第5の実施形態における処理手順を示すフローチャートである。主制御回路22はプログラムメモリ23に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、レリーズ釦3の操作又は撮影開始/終了キー301による撮影操作があったか否かを判断し(ステップS601)、ない場合にはその他のキー処理、表示処理を実行する(ステップS602)。レリーズ又は撮影開始操作があったならば、予め設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ20、撮影制御部25、及び映像信号処理部26に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ27に一時記憶する(ステップS603)。
引き続き、撮影画像とデジタル放送受信映像との合成記録がON設定されているか否を判断する(ステップS121)。ON設定されていない場合には、前記ステップS120の処理で撮像センサ20から取り込まれて画像メモリ27に一時記されている憶画像データを圧縮、符号化する(ステップS620)。
ON設定されている場合には、現在受信している当該受信放送映像のメタ情報(付属デジタル情報)から著作権表記、著作物の利用条件情報を読み込む(ステップS605)。そして、この読み込んだ利用条件に基づき、受信した画像の私的利用が許可されているか否かを判断し(ステップS606)、許可されてない場合には、合成処理できない旨を表示部14に表示して(ステップS614)、前記ステップS620の処理を実行する。
また、許可されている場合には、画像の複製、加工が許可されているか否かを判断し、許可されてない場合には、合成処理できない旨を表示部14にして(ステップS614)、前記ステップS620の処理を実行する。画像の複製、加工が許可されている場合には、設定された合成、加工条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する(ステップS608)。ここで、合成設定条件とは、例えば前記図4(A)(B)(C)に示したように、被写体像141に対する放送映像142の合成形態である。したがって、仮に合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像142に相当するフレーム部分を抽出する。
次に、前記利用条件情報に基づき、著作権表記が必須であるか否かを判断し(ステップS607)、必須である場合には、合成処理できない旨を表示部14に表示して(ステップS614)、前記ステップS620の処理を実行する。また、著作権表記が必須でない場合には、前記ステップS608で抽出された画像に著作権情報をテキスト化して合成する(ステップS610)。
さらに、前記利用条件情報に基づき、利用料は有料であるか無料であるかを判断し(ステップS611)、無料である場合には、ステップS612〜S616の処理を実行することなく、ステップS618に進む。また、有料である場合には、前記利用条件情報に基づき、「有料コンテンツ(¥XXX)です。お支払いしますか(Y/N)」を表示部14にプロンプト表示する(ステップS612)。そして、YES(OK)が入力されたか否かを判断して(ステップS613)、入力されない場合には合成処理できない旨を表示部14に表示して(ステップS614)、前記ステップS620の処理を実行する。
一方、YES(OK)が入力された場合には、課金処理、認証処理を実行する(ステップS615)。すなわち、図2に示した通信インタフェース、無線LAN通信部78を介し、無線AP75、外部機器74、インターネット71を経由してサーバー装置77に接続し、公知の課金処理、認証処理を行う。しかる後に、サーバー装置77と当該デジタルカメラ1との送受信により、課金処理が成功(OK)したか否かを判断し(ステップS616 )、成功しなかった場合には合成処理できない旨を表示部14に表示して(ステップS614)、前記ステップS620の処理を実行する。
課金処理が成功した場合、及び利用が無料であった場合には、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成、加工する(ステップS618)。つまり、前述した例のように、合成設定条件として、図4(A)に示した下半部に被写体像141を合成し上半部に放送映像142を合成する合成設定条件が設定されている場合には、下半部に被写体像141を合成し上半部に放送映像142を合成して1フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する(ステップS619)。
そして、前記ステップS620で圧縮、符号化された撮影画像、又は前記ステップS619で圧縮、符号化された合成画像を、画像&音声メモリ媒体31(又は磁気ディスク48)に記録する(ステップS621)。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像&音声メモリ媒体31(又は磁気ディスク48)に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ(表示部14)にレビュー表示する(ステップS622)。
したがって、この第5の実施の形態によれば、著作権を尊重しながら、個々の著作物の利用条件の範囲内で、個人利用でのテレビ映像との合成やツーショット撮影などを楽しむことができる。