JP5117280B2 - 撮像装置、撮像方法、再生装置および再生方法 - Google Patents

Description

本発明は、被写体撮影時の状況に応じて撮像した画像に対して各種処理をする技術に関する。

特許文献１の撮像装置は、被写体を撮像する撮像部と、撮像部の周囲の音声を録音する録音部と、設定された閾値音量を格納する閾値音量格納部と、録音部が録音した音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、撮像部が撮像した複数の撮像画像のそれぞれと、音声抽出部が抽出した複数の音声のそれぞれとを、撮像及び録音された順に対応づけて格納するデータ格納部と、データ格納部が対応づけて格納する撮像画像と音声とを同期させて出力するデータ出力部とを備える。

特許文献２のカメラでは、第１メモリに音楽とその音楽に適するサンプル画像が記録されている。類似画像選択部の類似検出部が、サンプル画像の第１補助データまたは第２補助データを参照して、第２メモリに記録されている撮影画像の中からサンプル画像に類似する撮影画像を検出する。適当な撮影画像が検出できないときは、サンプル画像を選ぶ。そして、音楽画像再生時には、音楽の進行に合わせて、サンプル画像に代えて選ばれた類似画像を再生する。

特許文献３のカメラでは、連写撮影制御手段による複数枚の静止画像（Ａ〜Ｄ）の連続撮影制御に伴い音声入力手段により入力される音声を記録し、連続撮影された複数枚の静止画像（Ａ〜Ｄ）のうち、音声レベル判断手段により一定レベルを超える実際の音声が入力されたと判断されたところで撮影された静止画像データ（Ｂ）に対して、音声記録手段により記録された音声データを対応付けて記憶管理する。これにより、個別の静止画像データを音声付きで再生する場合でも、実際に音声が発せられたタイミングで撮影された静止画像（Ｂ）を再生表示するときにだけ記録した音声データを再生出力して違和感のない音声付き個別静止画再生を行うことができる。
特開2006-203860号公報 特開2007-221498号公報 特開2007-235432号公報

従来のデジタルスチルカメラなどの撮像装置は、一瞬の映像を記録したり、一定期間の映像および音声を記録するものである。カメラを使用するユーザの目的として最も重要なものの１つとして「思い出を残す」ことが挙げられる。しかしながら、人の思い出とは、その場の映像のみでなく、音や匂い、触感、味など様々な感覚により作られるから、撮影された映像のみだと、その場の臨場感をリアルに思い出させることは難しい。

この点、特許文献１では、撮影において、静止画像と音声を同時記録／再生する際に、再生する音声データの音量にあわせて音声を抽出するが、音声の特徴は画像の再生に何も生かされていない。

特許文献２では、予め記録された撮影画像と音楽データと専用のサンプル画像からサンプル画像の類似画像を検索し、音楽の進行に合わせて画像を再生するが、予め記録されている音楽であるため、必ずしも画像の撮影情景と合うわけではなく、撮影時の臨場感が伝わりにくい。また、同じサンプル画像を選べばいつも同じ画像と音楽が再生され、代わり映えがしない。

特許文献３では、連写された画像と音声を記録しておき、記録する際に音声がある閾値以上である場合にその同時刻に撮影された画像を関連づけて記録するが、音声が大きくなる箇所が必ずしも撮影状況の臨場感を端的に表す静止画として適切であるとは限らない。むしろユーザに撮影タイミングを決めさせた方が好ましいといえる。

そこで本発明は、その撮影時の情景や感覚を想起しやすい映像を音声とともに記録することを目的とする。

本発明に係る撮像装置は、撮像レンズを介して撮像素子の受光面に結像された被写体光を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、撮像部の被写体周辺の音声を音声データに変換して出力する音声取得部と、音声取得部の出力した音声データに基づいて音声の特徴を解析する音声解析部と、音声解析部の解析した音声の特徴に応じた内容の画像処理であるエフェクトを、撮像部の出力した画像データに施すエフェクト実施部と、エフェクト実施部がエフェクトを施すことで生成された画像データを、音声取得部の出力した音声データと対応づけて所定の記録媒体に記録する記録部と、を備える。

エフェクトは、画像の色味、シャープネス、コントラスト、ボケのうち少なくとも１つを変化させる画像処理を含む。

音声解析部は、音声の音量、周波数ないしはそれらの時系列的変化を音声の特徴として抽出し、抽出された音声の特徴と予め記憶された特徴パターンとをマッチングし、抽出された音声の特徴と一致した特徴パターンに予め対応づけられたエフェクトを実施する。

音声解析部の解析した音声の特徴に応じて音声取得部による音声データの変換および出力の開始、休止または停止のタイミングを制御する音声取得制御部を備える。

音声取得制御部は、音声の音量が所定の値以上になったことを検知した場合に音声データの出力を開始し、所定の第１の期間音声データを出力した場合に音声データの出力を停止し、音声の音量が所定の値以下になりかつそれが所定の第２の期間継続した場合に音声データの出力を休止する。

撮像部から出力された画像データに異なる複数のエフェクトを施すことで動画のコマ画像を作成するとともに、コマ画像に基づいて動画データを作成する動画作成部を備え、記録部は、動画作成部の作成した動画データと音声データとを対応づけて記録する。

所定の時間間隔で所定枚数の画像データを出力するよう撮像部を制御する連写制御部をさらに備え、エフェクト実施部は、連写制御部の制御に応じて撮像部から出力された所定枚数の画像データに対し、画像データと撮影時点が前後する他の画像データを用いた画像処理を実施する。

音声解析部の解析した音声の特徴に応じて音声取得部による音声データの内容を編集する音声編集部を備える。

音声編集部は、音声データから特定の周波数を抽出すること、雑音を除去すること、特定の人物の音声を抽出すること、所定の音量に達しない音声データをカットすることのうち少なくとも１つを含む。

撮像装置の物理的状態を検知する検知部を備え、エフェクト実施部は、検知部の検知した物理的状態に応じてエフェクトを実施する。

エフェクト実施部は、検知部の検知した特定の物理的状態に応じて特定のエフェクトを実施する。

エフェクト実施部は、音声の音量変化または音声変化のスピードに応じて、画像のエフェクト処理における拡大率、ズーム速度、シフト量、シフト速度、回転率、回転速度のうち少なくとも１つを変化させる。

この撮像装置によって所定の記録媒体に記録された画像データと音声データとを対応づけて再生する再生装置も本発明に含まれる。

本発明に係る撮像方法は、撮像レンズを介して撮像素子の受光面に結像された被写体光を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力するステップと、被写体周辺の音声を音声データに変換して出力するステップと、出力した音声データに基づいて音声の特徴を解析するステップと、解析した音声の特徴に応じた内容の画像処理であるエフェクトを、出力した画像データに施すステップと、エフェクトを施すことで生成された画像データを、出力した音声データと対応づけて所定の記録媒体に記録するステップと、を含む。

この撮像方法によって所定の記録媒体に記録された画像データと音声データとを対応づけて再生する再生方法も本発明に含まれる。

静止画撮影の際に音声を記録し、当該記録した音声の解析結果に応じたエフェクトを静止画に施して、この音声とエフェクトの施された静止画とを対応づけて記録することで、音声に加えて臨場感ある画像を記録することが可能となり、またこの静止画と音声を対応づけて再生することで、実際に撮影者が感得した思い出に近い雰囲気と臨場感を与えることが可能となる。

＜第１実施形態＞
以下、添付図面に従って本発明に係る撮影装置を実施するための最良の形態について説明する。

図１および図２は、それぞれ本発明が適用されたデジタルカメラ１０の正面斜視図と背面斜視図である。

図１に示すように、カメラボディ１２の正面には、レンズ１４、ストロボ１６、マイク１７、ファインダ窓１８、セルフタイマランプ２０等が設けられており、上面にはシャッターボタン２６、電源ボタン２８等が設けられている。マイク１７は、動画あるいは静止画を取得する際に、音声を同時収録する。カメラボディ１２の側面には、スピーカ３５が配設されている。スピーカ３５は、静止画を撮影する時にシャッターボタン２６が押圧されるとシャッタ音を出力したり、画像の再生時にその画像と対応づけられた音声を出力したりする。

また、図２に示すように、カメラボディ１２の背面には、モニタ３０、ファインダ接眼部３２、ストロボボタン３４、マクロボタン３６、ズームレバー３８、表示ボタン４０、ＢＡＣＫボタン４２、メニュー／ＯＫボタン４４、十字ボタン４８、モードスイッチ５０等が設けられている。

シャッターボタン２６は、半押しと全押しとからなる２段ストローク式のスイッチで構成されており、このシャッターボタン２６の半押しでカメラはＡＥ／ＡＦが作動し、全押しで撮影が行なわれる。

モニタ３０は、カラー表示可能な液晶ディスプレイで構成されており、記録済み画像の表示画面として利用されるとともに、ユーザインターフェースの表示画面として利用される。また、撮影時には画角確認用の電子ファインダとしても使用される。表示ボタン４０は、このモニタ３０の表示内容の切り替えを指示するボタンとして機能する。

ストロボボタン３４は、ストロボモードの切り替えを指示するボタンとして機能し、このストロボボタン３４を１回押すごとに撮影中のストロボモードが「オートストロボ」→「赤目軽減ストロボ」→「強制発光ストロボ」→「スローシンクロ」→「ストロボ発光禁止」と切り替えられる。

マクロボタン３６は、マクロ機能のＯＮ／ＯＦＦの切り替えを指示するボタンとして機能し、このマクロボタン３６を１回押すごとに撮影中のマクロ機能のＯＮ／ＯＦＦが切り替えられる。

ズームレバー３８は、撮影時に撮影画像のズーム（テレ／ワイド）を指示するボタンとして機能するとともに、再生時に表示画像のズーム（拡大／縮小）を指示するボタンとして機能する。このズームレバー３８は、上下方向に揺動自在に設けられており、上方向に操作することにより、ズームがテレ側に操作され、下方向に操作することにより、ズームがワイド側に操作される。

メニュー／ＯＫボタン４４は、各モードの通常画面からメニュー画面への遷移を指示するボタン（メニューボタン）として機能するとともに、選択内容の確定、実行を指示するボタン（ＯＫボタン）として機能し、ＢＡＣＫボタン４２は、入力操作のキャンセル等を指示するボタンとして機能する。

十字ボタン４８は、上下左右４方向の指示を入力するボタンとして機能し、メニュー画面でメニュー項目の選択などに使用される。

モードスイッチ５０は、モードの切り替えを指示するスイッチとして機能し、「撮影位置」と「再生位置」との間をスライド自在に設けられている。デジタルカメラ１０は、このモードスイッチ５０を「撮影位置」に位置させることにより、「撮影モード」に設定され、「再生位置」に位置させることにより、「再生モード」に設定される。

図３は、図１及び図２に示したデジタルカメラ１０の内部の概略構成を示すブロック図である。

デジタルカメラ１０は、全体の動作を中央処理装置（ＣＰＵ）１１０によって統括制御されている。ＣＰＵ１１０は、操作部１１２（シャッターボタン２６、電源ボタン２８、ストロボボタン３４、マクロボタン３６、ズームレバー３８、表示ボタン４０、ＢＡＣＫボタン４２、メニュー／ＯＫボタン４４、十字ボタン４８、モードスイッチ５０等）からの入力情報に基づき所定のプログラムに従って本カメラシステムを制御する。

バス１１４を介してＣＰＵ１１０と接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行するプログラム及び制御に必要な各種データ等が格納されており、ＥＥＰＲＯＭ１１８には、フォルダの管理情報などのデジタルカメラ１０の動作に関する各種設定情報等が格納されている。なお、メモリ（ＳＤＲＡＭ）１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用され、ＶＲＡＭ１２２は、画像データ専用の一時記憶領域として利用される。

デジタルカメラ１０は、モードスイッチ５０を撮影モードに設定すると撮影が可能になり、固体撮像素子（ＣＣＤ）１２４を含む撮像部に電源が供給される。

レンズ１４を通過した光は、絞り１５を介してＣＣＤ１２４の受光面に結像される。ＣＣＤ１２４の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが、所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ１２４は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッタ機能を有しており、ＣＰＵ１１０は、タイミングジェネレータ１２６を介してＣＣＤ１２４の電荷蓄積時間を制御する。

ＣＣＤ１２４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従いタイミングジェネレータ１２６から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ１２４から出力された画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関二重サンプリング処理）されたのち、増幅され、Ａ／Ｄ変換器１３０に加えられる。

Ａ／Ｄ変換器１３０は、アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換する。そして、このＡ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号が画像入力コントローラ１３２を介してメモリ１２０に記憶される。

画像信号処理回路１３４は、メモリ１２０に記憶されたＲ、Ｇ、Ｂ信号をＣＰＵ１１０の指令に従って処理する。すなわち、画像信号処理回路１３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１１０からの指令に従ってメモリ１２０を活用しながら所定の信号処理を行う。この画像信号処理回路１３４に入力されたＲ、Ｇ、Ｂ信号は、画像信号処理回路１３４で輝度信号（Ｙ信号）及び色差信号（Ｃr 、Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施されたのちＶＲＡＭ１２２に格納される。

撮影画像をモニタ３０に出力する場合は、ＶＲＡＭ１２２から文字ＭＩＸ回路１３５を介してビデオエンコーダ１３６に送られる。ビデオエンコーダ１３６は、入力された画像データを表示用の所定方式の信号（たとえば、ＮＴＳＣ方式のカラー複合映像信号）に変換してモニタ３０に出力する。これにより、ＣＣＤ１２４で捉えた画像がモニタ３０に表示される。

ＣＣＤ１２４から画像信号を定期的に取り込み、その画像信号から生成される画像データによってＶＲＡＭ１２２内の画像データを定期的に書き換えて、モニタ３０に出力することにより、ＣＣＤ１２４で捉えた画像がリアルタイムに表示される。撮影者は、このモニタ３０にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。

ジャイロセンサ８６は、デジタルカメラ１０の動作モードが静止画撮影モードまたは動画撮影モードである場合に作動し、カメラボディ１２の回転を検知し、回転信号として手振れ補正処理回路８７に出力する。

手振れ補正処理回路８７は、静止画撮影モードまたは動画撮影モードの場合、回転信号を基にカメラボディ１２の振動の大きさを算出し、この振動を打ち消すための補正信号をＣＣＤ１２４が設置されている可動台（図示しない）に出力し、可動台ごとＣＣＤ１２４を移動させることによってスルー画像や本画像のブレを補正する。

なお、文字ＭＩＸ回路１３５は、ＣＰＵ１１０からのコマンドに従いメモリ１２０から加えられる所定の文字、記号データとＶＲＡＭ１２２から加えられる画像データとを合成してビデオエンコーダ１３６に出力する。これにより、文字や記号等の情報がスルー画像に重ねて表示される。

マイク１７から取得されたアナログ音声信号は、静止画撮影モードまたは動画撮影モードの場合、音声データ処理回路１４９によって増幅後デジタルデータに変換されるとともに、所定の圧縮記録形式（ＭＰ３など）で圧縮されるなどのデータ処理がなされ、ＳＤＲＡＭ１２０に一時的に記憶された後に、取得した画像とともに記録メディア１５０に記録される。また、ＳＤＲＡＭ１２０あるいは記録メディア１５０に保存された録音音声データや、ＥＥＰＲＯＭ１１８に予め記憶された操作音、シャッタ音、ＡＦの合焦音などの各種報知音データは、音声データ処理回路１４９によってデコードやアナログ音声信号変換や増幅などのデータ処理がなされた後に、スピーカ３５に出力される。スピーカ３５は、音声データ処理回路１４９から出力されたアナログ音声信号に従って音声を出力する。

撮影は、シャッターボタン２６の押下により行なわれ、まず、シャッターボタン２６が半押しされると、Ｓ１オン信号がＣＰＵ１１０に入力され、ＣＰＵ１１０はＡＥ／ＡＦ処理を開始する。

まず、画像入力コントローラ１３２を介してＣＣＤ１２４から取り込まれた画像信号がＡＦ検出回路１３８並びにＡＥ／ＡＷＢ検出回路１４０に入力される。

ＡＥ／ＡＷＢ検出回路１４０は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲ、Ｇ、Ｂ信号を積算する回路を含み、その積算値をＣＰＵ１１０に提供する。ＣＰＵ１１０は、ＡＥ／ＡＷＢ検出回路１４０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、求めた撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従いＣＣＤ１２４の電子シャッターと絞り駆動部１４２を制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路１４０は、自動ホワイトバランス調整時、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１０に提供する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

ＡＦ検出回路１３８は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成され、ＡＦ検出回路１３８で求めた積算値のデータはＣＰＵ１１０に通知される。ＣＰＵ１１０は、フォーカスレンズ駆動部１４４Ａを制御してフォーカスレンズ１４Ａを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ１４Ａが移動するようにフォーカスレンズ駆動部１４４Ａを制御する。

以上のように、シャッターボタン２６の半押しに応動して、ＡＥ／ＡＦ処理が行なわれる。

なお、撮影者は必要に応じてズームレバー３８を操作し、レンズ１４をズーミングさせて画角を調整する。ズームレバー３８が上方向（テレ方向）に操作される、ＣＰＵ１１０にズームテレ信号が入力されと、ＣＰＵ１１０は、これに応動してズームレンズ駆動部１４４Ｂを駆動し、ズームレンズ１４Ｂをテレ側に移動させる。また、ズームレバー３８が下方向（ワイド方向）に操作され、ＣＰＵ１１０にズームワイド信号が入力されと、ＣＰＵ１１０は、これに応動してズームレンズ駆動部１４４Ｂを駆動し、ズームレンズ１４Ｂをワイド側に移動させる。

この後、シャッターボタン２６が全押しされると、ＣＰＵ１１０にＳ２オン信号が入力され、ＣＰＵ１１０は、撮影、記録処理を開始する。すなわち、Ｓ２オン信号に応動して取得された画像データが、画像信号処理回路１３４において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１２０に格納される。

メモリ１２０に格納された画像データは、圧縮伸張回路１４６によって所定のフォーマット（たとえば、JPEG形式）に従って圧縮された後、メディアコントローラ１４８を介して記録メディア１５０に記録される。なお、連写モードが選択された場合、ＣＰＵ１１０は、シャッターボタン２６が全押しされたことに応じ、所定間隔ごとに所定枚数の静止画データを取得するよう各部を制御する。

モードスイッチ５０により再生モードが選択されると、記録メディア１５０から画像データ（記録メディア１５０に最後に記録された画像データ）が読み出される。読み出された画像データは、圧縮伸張回路１４６を介して非圧縮のＹＣ信号に伸張されたのち、画像信号処理回路１３４、文字ＭＩＸ回路１３５及びビデオエンコーダ１３６を介してモニタ３０に出力される。これにより、記録メディア１５０に記録されている画像がモニタ３０に再生表示される。

画像のコマ送りは、十字ボタン４８の操作で行なわれ、十字ボタン４８の右キーが押されると、次の画像データが記録メディア１５０から読み出され、モニタ３０に再生表示される。そして、十字ボタン４８の左キーが押されると、前の画像データが記録メディア１５０から読み出され、モニタ３０に再生表示される。この際、選択されたコマの画像データに音声データが対応づけられていれば、その画像の表示と同期して音声が再生される。

なお、デジタルカメラ１０とは、要するに図３のような撮像機能、録音機能などが備えられていれば何でもよく、図１や図２の外観を有する必然性はない。よって、図３のブロックと同等の構成を有するパソコンやＰＤＡなどであってもよい。

図４は第１実施形態に係る撮影処理のフローチャートである。この処理は静止画撮影モードがオンされたことに応じて開始する。この処理はＣＰＵ１１０によって制御される。また、この処理を記述したプログラムはＲＯＭ１１６に記録されており、ＣＰＵ１１０がこのプログラムを読み出して実行する。

Ｐ１では、シャッターボタン２６の半押し（Ｓ１オン）があったか否かを判断し、Ｓ１ボタンの押下があったと判断されたことに応じてＰ２に進む。

Ｐ２では、マイク１７からの音声の集音および音声データ処理回路１４９での当該集音された音声の処理と記録を開始する。ただし、静止画撮影モードがオンされたことに応じてただちに音声記録を開始してもよい。

Ｐ３では、シャッターボタン２６の全押し（Ｓ２オン）があったか否かを判断し、Ｓ２ボタンの押下があったと判断されたことに応じてＰ４に進む。

Ｐ４では、記録用静止画の取得動作を行い、得られた画像データを一時的にＶＲＡＭ１２２に格納する。なお、この際にも音声の記録は継続している。

Ｐ５では、静止画の記録動作完了から所定時間（例えば５秒間）音声の記録を継続し、その所定時間経過が経過したことに応じて音声記録を停止する。

Ｐ６では、音声解析回路１５１に記録した音声の解析を行うよう指示する。音声解析回路１５１は、ＣＰＵ１１０からの指示に応じ、ＳＤＲＡＭ１２０（または記録メディア１５０）に記録された音声の特徴データ（音量、周波数あるいはそれらの時系列的な変化）を抽出し、予めＲＯＭ１１６に記録された音声特徴パターン（例えば、音量が大きいあるいは小さい、発声時間が長いあるいは短い、周波数が高いあるいは短い）と抽出された特徴データとをマッチングし、抽出された特徴データと一致する音声特徴パターンを特定する。そして、特定された音声特徴パターンを画像エフェクタ１５２に通知する。

Ｐ７では、画像エフェクタ１５２は、通知された音声特徴パターンに対応する画像エフェクト処理を、ＶＲＡＭ１２２に格納された記録用静止画に施す。エフェクトが施された画像とメモリ１２０に記憶された音声とは、対応づけられて記録メディア１５０に記録される。なお、エフェクトを実施する前のオリジナル画像もさらに対応づけて記録メディア１５０に記録されてもよい。

例えば、図５（ａ）のような画像データが取得され、「まつり」という情景パターンが通知された場合、図５（ｂ）のように画像全体のコントラストを上げたり、あるいは図５（ｃ）のように、まつりに対応した動的な雰囲気を出すため、画像の周辺部分をぼかし、中央部分のみにピントがあったようにするズーミングを行う。あるいは、図５（ｄ）のように、元の画像を任意の方向にシフトさせたものを元の画像に重畳してもよい。

ただし、エフェクトの内容は音声の解析結果に対応づけられていれば何でもよく、上記の他、色味、シャープネス、歪み、コントラスト、ボケなどの変化でもよい。

図６は音声の解析結果と当該音声の解析結果の通知に応じて画像エフェクタ１５２が実施するエフェクト処理との対応の一例を示す。図示のエフェクトの内容はあくまで一例であり、これらの一部または全部を組み合わせてもよい。あるいは、幾何学的効果の１つとして、放射状にぼかす以外にも、回転方向にぼかしてもよい。

再生モード設定時、記録メディア１５０に対応づけて記録された画像と音声は、その対応づけに従って同期して再生される。すなわち、ある所望の画像の再生が選択されると、その画像が映像信号に変換されてモニタ３０に出力されるとともに、その画像に対応づけられた音声データがアナログ音声信号に変換されてスピーカ３５から出力される。

このように、静止画撮影の際に音声を記録し、当該記録した音声の解析結果に応じたエフェクトを静止画に施して、この音声とエフェクトの施された静止画とを対応づけて記録することで、音声に加えて臨場感ある画像を記録することが可能となり、またこの静止画と音声を対応づけて再生することで、実際に撮影者が感得した思い出に近い雰囲気と臨場感を与えることが可能となる。

＜第２実施形態＞
第１実施形態のデジタルカメラ１０において、思い出の感得に必要な音声を好適に記録するには、次のようにすればよい。

図７は第２実施形態に係る撮影処理のフローチャートである。この処理は静止画撮影モードがオンされたことに応じて開始する。この処理はＣＰＵ１１０によって制御される。また、この処理を記述したプログラムはＲＯＭ１１６に記録されており、ＣＰＵ１１０がこのプログラムを読み出して実行する。

Ｐ１１では、シャッターボタン２６が半押しされたか否かを判断する。半押しされた場合、Ｐ１２−Ｐ１８の音声記録処理とＰ２１−Ｐ２４の画像記録処理が同時に進行する。

Ｐ１２では、音量が所定の閾値Ｔｈ１（例えば５０ホン）を超えたか否かを判断する。ＹＥＳの場合はＰ１３に進む。ＮＯの場合はこの判断を繰り返す。

Ｐ１３では、音声の記録を開始する。

Ｐ１４では、音量が所定の閾値Ｔｈ１を下回ったか否かを判断する。ＹＥＳの場合はＰ１３に進む。ＹＥＳの場合はＰ１５に進む。ＮＯの場合はこの判断を繰り返す。

Ｐ１５では、音量が所定の閾値Ｔｈ１を下回った時点を起点として、その状態の継続時間Ｌｏｗ Ｔｉｍｅが所定の閾値Ｔｈ２（例えば１０秒間）を超えたか否かを判断する。ＹＥＳの場合はＰ１６に進む。ＮＯの場合はＰ１４に戻る。

Ｐ１６では、音声の記録を停止する。

Ｐ１７では、音声の記録を開始した最初の時点を起点としかつ音声の記録を停止した最終の時点を終点として、その間の時間Ｔｏｔａｌ Ｔｉｍｅが所定の閾値Ｔｈ３（例えば５分間）を超えたか否かを判断する。ＹＥＳの場合はＰ１８に進む。ＮＯの場合はＰ１２に戻る。

Ｐ１８はＰ６と同様である。また、Ｐ２１−Ｐ２４は、それぞれＰ３、Ｐ４、Ｐ７、Ｐ８と同様である。なお、Ｐ１４で音量がＴｈ１を下回らないままＴｏｔａｌ Ｔｉｍｅが所定の閾値Ｔｈ３を超えた場合、Ｐ１４のループを脱してＰ１６に進み、音声の記録を停止する。

図８は、上記Ｐ１２−Ｐ１８の音声記録処理に従って行われる音声記録の開始／停止のタイミングチャートの一例を示す。

図８に示すように、時間α１、α２、α３では、音量が閾値Ｔｈ１を上回り（Ｐ１２でＹＥＳ）、音声記録が開始する（Ｐ１３）。

また時間β１、β２、β３では、音量が閾値Ｔｈ１を下回り（Ｐ１４でＹＥＳ）、かつ、その各時点を起点として音量が閾値Ｔｈ１を下回ったままの時間Ｌｏｗ Ｔｉｍｅが閾値Ｔｈ２に達した時点（β１＋Ｔｈ２、β２＋Ｔｈ２、あるいはβ３＋Ｔｈ２）で（Ｐ１５でＹＥＳ）、音声の記録が停止する（Ｐ１６）。なお、音量が閾値Ｔｈ１を下回ったままの時間が閾値Ｔｈ２に達しない場合、例えばγ１−γ２間では、音声の記録は停止しない。

また、音声記録の総時間Ｔｏｔａｌ Ｔｉｍｅは閾値Ｔｈ３を上回っており、この間記録された音声の解析を開始する。

こうすることで、無音状態の録音を極力避けることができ、音声の解析による特徴もとらえやすくなるから、音声の解析結果に基づいた画像へのエフェクトも適切に行うことができる。

また、音声記録の開始、中断、再開、終了のタイミングを決めるのは音声の音量に限らず、周波数、周波数および音声、もしくはこれらの時系列解析に基づいて決定してもよい。例えば、特定の周波数の音声を検知した場合に音声記録を開始してもよい。具体的には、赤ん坊の声の周波数は３キロヘルツといわれており、３キロヘルツの周波数の音声が検知されたら、赤ん坊を撮影しようとしているとみなし、音声の記録を開始してもよい。

このように、音声の状態に応じて音声記録を開始、中断、再開、終了すれば、思い出の想起に必要な部分に限って録音することができ、無駄がないし、画像へのエフェクトも音声の状態を反映した正確なものとなる。

＜第３実施形態＞
得られた静止画像に複数種類のエフェクトを施し、動画のコマ画像を作成し、それらを時系列順に並べて動画を作成してもよい。

例えば図９に示すように、１つの元画像Ｉ１を左、右あるいは上、下、斜めにシフトさせて元画像と重畳した画像を動画のコマ画像Ｌ１、Ｌ２とし、左にシフトした画像Ｌ１と右にシフトした画像Ｌ２とを交互に所定数（例えば１００フレーム）並べた画像を新たな動画データとする。なお動画データの記録形式はモーションＪＰＥＧなど何でもよい。

あるいは図１０に示すように、１つの元画像Ｉ２の中で輝度が高い部分をズームアップした画像Ｍ１、Ｍ２をコマ画像としてもよい。

そして、作成された動画データを、メモリ１２０の音声と対応づけて記録メディア１５０に記録する。

この動画データが再生されるときには、対応づけられた音声を同時に再生する。こうすることで、さらに撮影時の臨場感が高まる。

＜第４実施形態＞
連写、すなわち所定の時間間隔で所定枚数の静止画像データを取得する動作（例えば約0.45秒間隔で連続3コマ）を行った場合、それらの所定枚数の画像の一部または全部を組み合わせて重畳するエフェクトを実施し、擬似的な動画コマを作成してもよい。

例えば図１１のように、連写によって３枚の画像Ｊ１、Ｊ２、Ｊ３が得られた場合、Ｊ１とＪ２の主要被写体部分（輝度の高い部分）を重畳した画像をＫ１、Ｊ２とＪ３の主要被写体部分（輝度の高い部分）を重畳した画像をＫ２、Ｊ３とＪ２の主要被写体部分（輝度の高い部分）を重畳した画像をＫ３とする。これらの静止画Ｋ１〜Ｋ３は、被写体の動きを連続的に示している。これらＫ１〜Ｋ３を各元画像の撮影順に応じて再生していけば、動画のように被写体の動きの遷移が把握できる。そして、静止画Ｋ１〜Ｋ３と音声とを対応づけて記録メディア１５０に記録する。静止画Ｋ１〜Ｋ３の再生は、スライドショーのように順次遷移していってもよい。この際、上述の同様にして対応する音声も再生する。このように、被写体の一連の動きを示す画像群と音声とを対応づけて記録しておけば、あとから撮影時の臨場感のある画像と音声の同時再生を楽しめる。

＜第５実施形態＞
第１〜５実施形態において、マイクから集音した音声をそのまま記録する必要性はなく、適宜音声内容を編集し、それを画像とともに記録してもよい。

例えば、デジタルフィルタを使用して、オリジナル音声（図１２（ａ）参照）から、特定の周波数帯（例えば人の声であれば３００Ｈｚ〜３５００Ｈｚ）にある音声のみを抽出し、それを記録する。あるいは、ノイズ成分を除去して記録する。あるいは、ＩＣＡ（独立成分分析）などを使用して、オリジナル音声から、特定の人物の音声のみを抽出して記録する（図１２（ｂ）参照）。あるいは、オリジナル音声から、ある一定数よりも大きい音量の音声波形のみを抽出してつなぎ合わせることで（図１２（ｃ）参照）、音声データ量を削減したり、予め決められた録音時間内に収めることも可能である。

＜第６実施形態＞
第１〜５実施形態において、さらに、ジャイロセンサ８６の回転信号ならびに当該回転信号を基に手振れ補正処理回路８７の算出したカメラボディ１２の振動の大きさ（手振れ量）の解析結果に応じて、画像にエフェクトを施してもよい。

例えば、図１３に示すように、時間軸に沿った手振れ量が算出されたとして、ある閾値Ｘ以上の手振れ量が算出された時間区間が、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５であったとする。もし、区間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５のいずれかにおいてシャッターボタン２６が全押しされた場合、その全押しのタイミングが属する区間（全押し区間）の手振れ量に応じて、画像にエフェクトを施す。例えば、全押し時の手振れ量に比例した拡縮率で画像の特定部分を拡大あるいは縮小したり、ズームイン速度あるいはズームアウト速度を変えたり、シフト量を変えたり、回転率を変えたり、回転速度を変えたりするなど、エフェクトのパラメータ量を設定する。図１４では、オリジナル画像Ｉ２をズームした画像とオリジナル画像とを合成した画像Ｉ２、Ｉ３を作成し、撮影時に手振れが発生した状況に対応して躍動感のある動的な動きを表している。

あるいは、シャッターボタン２６の半押しから全押しの間に、手振れ量が１回でも閾値Ｘを超えた場合、アピール、クロール、ストリップ、スライド、ディゾルブ、ワイプなどのエフェクトを画像に施す。

なお、音声の大小変化やその変化速度により、画像の拡大率、縮小率、ズーム速度、シフト量、シフト速度、回転率、回転速度などを変化させてもよい。音声の周波数の特徴に応じて、アピール、アピール、クロール、ストリップ、スライド、ディゾルブ、ワイプなどのエフェクトを画像に施してもよい。

また、ジャイロセンサ８６の代わりに、あるいはジャイロセンサ８６とともに、温度センサ、圧力センサなど各種の撮影状態検知手段を設け、その撮影状態検知手段の検知した状態量に応じてエフェクトを画像に施してもよい。例えば、カメラボディ１２のグリップ力を圧力センサで検知し、その圧力に応じたエフェクトのパラメータ量を設定する。

このように、音声に限らず、外部環境から感知可能な各種の物理量に応じて画像にエフェクトを施し、撮影時の臨場感のある画像を作成することができる。

＜第７実施形態＞
第１〜６実施形態において、撮影者が意図的に行った特定の動作を感知し、その特定の動作の物理量に応じて特定のエフェクトを施してもよい。

例えば、撮影者が、シャッターボタン２６の全押し後に、瞬間的にカメラボディ１２を振ったとする。この場合、図１５に例示するように、シャッターボタン２６の全押し後の区間Ｔａに、閾値Ｙを超える手振れ量の急激な変化（パルス）が生じる。

そして、図１６（ａ）に示すようなオリジナル画像がシャッターボタン２６の全押しに応じて取得された場合、図１６（ｂ）に示すようにオリジナル画像Ｉ１をズームした画像とオリジナル画像とを合成した画像Ｍ１を作成する。画像Ｍ１は、急激にカメラが振られて撮影された状況を醸し出しており、臨場感がある。

あるいは、撮影者が、シャッターボタン２６の全押し後に、瞬間的にカメラボディ１２を前面に押し出した場合、その押し出し方向と押し出し量を加速度センサなどで検知する。そして、一定量以上の前面押し出しが検知された場合、図１６（ｃ）に示すようにズームインのエフェクトをオリジナル画像Ｉ１に施し、画像Ｍ２を得る。画像Ｍ２は、急激にカメラが前面に押し出されて撮影された状況を醸し出しており、臨場感がある。

あるいは、撮影者が、シャッターボタン２６の全押し後に、カメラボディ１２を握った場合、カメラボディ１２のグリップ力を圧力センサで検知し、その圧力が所定の閾値（例えば１０ｋｇ／ｃｍ^２以上）に達していれば、ズームインのエフェクトをオリジナル画像Ｉ１に施してもよい。あるいは、シャッターボタン２６の全押し後に、撮影者がカメラボディ１２を握持することで伝わる撮影者の体温を温度センサで検知し、その温度が所定の閾値以上（例えば３０度以上）であれば、回転のエフェクトをオリジナル画像Ｉ１に施してもよい。

また、撮影者がデジタルカメラ１０に特定の動作を感知させる時点はいつでもよく、シャッターボタン２６の全押し前でも後でもよい。例えば、オリジナル画像の再生中にカメラを振ると、そのオリジナル画像をズームした画像とオリジナル画像とを合成した画像を作成してもよい。こうすることで、特定の画像効果を任意の時点で意図的に生じさせることができる。

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラの内部ブロック図 第１実施形態に係る撮影処理のフローチャート 第１実施形態に係る撮影処理で得られたオリジナル画像およびエフェクトの施された画像の一例を示す図 音声の解析結果と当該音声の解析結果の通知に応じて画像エフェクタ１５２が実施するエフェクト処理との対応の一例を示す図 第２実施形態に係る撮影処理のフローチャート 音声記録処理に従って行われる音声記録の開始／停止のタイミングチャートの一例を示す図 動画コマの一例を示す図 ズームアップの一例を示す図 連写画像のエフェクト処理を例示した図 オリジナル音声を編集した様子を模式的に示した図 手振れ量の時系列変動を模式的に示す図 手振れ量に応じたパラメータ量でオリジナル画像にエフェクト処理を施した一例を示す図 瞬間的にカメラボディを振った場合の手振れ量の時系列変動を模式的に示す図 瞬間的にカメラボディを振った場合のエフェクト処理の一例を示す図

符号の説明

１７：マイク、３５：スピーカ、８６：ジャイロセンサ、１１０：ＣＰＵ、１２４：ＣＣＤ、１４９：音声データ処理回路、１５１：音声解析回路、１５２：画像エフェクタ

Claims (18)

1. 撮影準備指示および撮影指示を受け付ける指示部と、
   前記指示部が前記撮影指示を受け付けたことに応じ、撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を静止画像データに変換して出力する撮像部と、
   前記撮像部の被写体周辺の音声を音声データに変換して出力する音声取得部と、
   前記音声取得部の出力した音声データに基づいて音声の特徴を解析する音声解析部と、
   前記音声解析部の解析した音声の特徴に応じた内容の画像処理であるエフェクトを、前記撮像部の出力した静止画像データに施すエフェクト実施部と、
   前記エフェクト実施部がエフェクトを施すことで生成された静止画像データを、前記音声取得部の出力した音声データと対応づけて所定の記録媒体に記録する記録部と、
   前記指示部が前記撮影準備指示を受け付けたことに応じ、前記音声取得部による音声データの変換および出力の開始のタイミングを制御する音声取得制御部と、
   を備え、
   前記音声取得制御部は、前記音声解析部の解析した音声の特徴に応じて前記音声取得部による音声データの出力の休止のタイミングを制御する撮像装置。
2. 前記エフェクトは、静止画像の色味、シャープネス、コントラスト、ボケのうち少なくとも１つを変化させる画像処理を含む請求項１に記載の撮像装置。
3. 前記音声解析部は、音声の音量、周波数ないしはそれらの時系列的変化を音声の特徴として抽出し、前記抽出された音声の特徴と予め記憶された特徴パターンとをマッチングし、前記抽出された音声の特徴と一致した特徴パターンに予め対応づけられたエフェクトを実施する請求項１または２に記載の撮像装置。
4. 前記音声取得制御部は、音声の音量が所定の値以下になりかつそれが所定の第２の期間継続した場合に音声データの出力を休止する請求項３に記載の撮像装置。
5. 前記撮像部から出力された静止画像データに異なる複数のエフェクトを施すことで動画のコマ画像を作成するとともに、前記コマ画像に基づいて動画データを作成する動画作成部を備え、
   前記記録部は、前記動画作成部の作成した動画データと前記音声データとを対応づけて記録する請求項１〜４のいずれかに記載の撮像装置。
6. 所定の時間間隔で所定枚数の静止画像データを出力するよう前記撮像部を制御する連写制御部をさらに備え、
   前記エフェクト実施部は、前記連写制御部の制御に応じて前記撮像部から出力された所定枚数の静止画像データに対し、前記静止画像データと撮影時点が前後する他の静止画像データを用いた画像処理を実施する請求項１〜５のいずれかに記載の撮像装置。
7. 前記音声解析部の解析した音声の特徴に応じて前記音声取得部による音声データの内容を編集する音声編集部を備える請求項１〜６のいずれかに記載の撮像装置。
8. 前記音声編集部は、前記音声データから特定の周波数を抽出すること、雑音を除去すること、特定の人物の音声を抽出すること、所定の音量に達しない音声データをカットすることのうち少なくとも１つを含む請求項７に記載の撮像装置。
9. 撮像装置の物理的状態を検知する検知部を備え、
   前記エフェクト実施部は、前記検知部の検知した物理的状態に応じてエフェクトを実施する請求項１〜７のいずれかに記載の撮像装置。
10. 前記エフェクト実施部は、前記検知部の検知した特定の物理的状態に応じて特定のエフェクトを実施する請求項９に記載の撮像装置。
11. 前記エフェクト実施部は、音声の音量変化または音声変化のスピードに応じて、静止画像のエフェクト処理における拡大率、ズーム速度、シフト量、シフト速度、回転率、回転速度のうち少なくとも１つを変化させる請求項１〜１０のいずれかに記載の撮像装置。
12. 前記音声取得制御部は、前記音声取得部による音声データの変換および出力の開始から所定の時間が経過したことに応じ、前記音声取得部による音声データの変換および出力の停止のタイミングを制御する請求項１〜１１のいずれかに記載の撮像装置。
13. 請求項１〜１２のいずれかに記載の撮像装置によって所定の記録媒体に記録された静止画像データと音声データとを対応づけて再生する再生装置。
14. 撮影指示を受け付けたことに応じ、撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を静止画像データに変換して出力するステップと、
    被写体周辺の音声を音声データに変換して出力するステップと、
    撮影準備指示を受け付けたことに応じ、前記音声データの変換および出力の開始のタイミングを制御するステップと、
    前記出力した音声データに基づいて音声の特徴を解析するステップと、
    前記解析した音声の特徴に応じた内容の画像処理であるエフェクトを、前記出力した静止画像データに施すステップと、
    前記エフェクトを施すことで生成された静止画像データを、前記出力した音声データと対応づけて所定の記録媒体に記録するステップと、
    を含み、
    前記出力した音声データに基づいて音声の特徴を解析するステップは、前記解析した音声の特徴に応じて前記音声データの出力の休止のタイミングを制御する撮像方法。
15. 前記音声データの変換および出力の開始から所定の時間が経過したことに応じ、前記音声データの変換および出力の停止のタイミングを制御するステップを含む請求項１４に記載の撮像方法。
16. 請求項１４または１５に記載の撮像方法によって所定の記録媒体に記録された静止画像データと音声データとを対応づけて再生する再生方法。
17. 撮影準備指示および撮影指示を受け付ける指示部と、
    前記指示部が前記撮影指示を受け付けたことに応じ、撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を静止画像データに変換して出力する撮像部と、
    前記撮像部の被写体周辺の音声を音声データに変換して出力する音声取得部と、
    前記音声取得部の出力した音声データに基づいて音声の特徴を解析する音声解析部と、
    前記音声解析部の解析した音声の特徴に応じた内容の画像処理であるエフェクトを、前記撮像部の出力した静止画像データに施すエフェクト実施部と、
    前記エフェクト実施部がエフェクトを施すことで生成された静止画像データを、前記音声取得部の出力した音声データと対応づけて所定の記録媒体に記録する記録部と、
    前記指示部が前記撮影準備指示を受け付けたことに応じ、前記音声取得部による音声データの変換および出力の開始のタイミングを制御する音声取得制御部と、
    前記撮像部から出力された静止画像データに異なる複数のエフェクトを施すことで動画のコマ画像を作成するとともに、前記コマ画像に基づいて動画データを作成する動画作成部と、
    を備え、
    前記記録部は、前記動画作成部の作成した動画データと前記音声データとを対応づけて記録する撮像装置。
18. 撮影準備指示および撮影指示を受け付ける指示部と、
    前記指示部が前記撮影指示を受け付けたことに応じ、撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を静止画像データに変換して出力する撮像部と、
    前記撮像部の被写体周辺の音声を音声データに変換して出力する音声取得部と、
    前記音声取得部の出力した音声データに基づいて音声の特徴を解析する音声解析部と、
    前記音声解析部の解析した音声の特徴に応じた内容の画像処理であるエフェクトを、前記撮像部の出力した静止画像データに施すエフェクト実施部と、
    前記エフェクト実施部がエフェクトを施すことで生成された静止画像データを、前記音声取得部の出力した音声データと対応づけて所定の記録媒体に記録する記録部と、
    前記指示部が前記撮影準備指示を受け付けたことに応じ、前記音声取得部による音声データの変換および出力の開始のタイミングを制御する音声取得制御部と、
    所定の時間間隔で所定枚数の静止画像データを出力するよう前記撮像部を制御する連写制御部と、
    を備え、
    前記エフェクト実施部は、前記連写制御部の制御に応じて前記撮像部から出力された所定枚数の静止画像データに対し、前記静止画像データと撮影時点が前後する他の静止画像データを用いた画像処理を実施する撮像装置。