JP5406004B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

従来、例えば下記の特許文献１に記載されているように、音声を用いてカメラを制御する技術が知られている。特許文献１には、認識した音声の音量を測定し、この測定した音量の判断結果に応じて、音量のレベルに対応する制御値でズーム倍率や連写速度を制御することを想定した技術が記載されている。

特開２００９−７７３２５号公報

ところで、近時では、高速での連写機能を備えた撮像装置が出現している。連写機能を用いることにより、一瞬のベストショットが得られる確率を高めることができ、撮影者は動きのある被写体などを撮影する際に、所望の画像を得る確率を高めることができる。

しかしながら、連写機能で撮影を行った場合、時間の経過に伴って撮影枚数が増大し、保存する画像データ量は膨大なものとなる。このため、外部メモリの容量、あるいは撮像装置の駆動用のバッテリーの電力などを多量に消費する問題がある。更に、ユーザは、撮影後に一連の連写画像からベストショットを抽出する必要があり、高速撮影が可能である状況では撮影枚数が膨大になることから、非常な煩雑な抽出作業が要求される。このため、連続撮像画像から必要画像を選ぶ作業は困難となる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、少ない連写枚数でベストショットを確実に撮影することが可能な、新規かつ改良された撮像装置及び撮像装置の制御方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データを取得する撮像素子と、音声情報を取得する音声情報取得部と、前記音声情報が取得した前記音声情報を解析する音声情報解析部と、前記音声情報の解析結果に基づいて、連写密度を高くするタイミングを算出するタイミング算出部と、算出された前記タイミングにおいて連写密度が周期的に高くなるように前記撮像素子のシャッターを制御するシャッター制御部と、を備える撮像装置が提供される。この結果、人間が同期をとりやすいタイミング（Ｔｉｍｉｎｇ）で撮影されるため、ベストショット（Ｂｅｓｔ Ｓｈｏｔ）を演出する可能性を高くすることができる。

また、前記音声情報解析部は、前記音声情報取得部で取得された前記音声情報が音楽である場合に音楽のリズムまたはテンポを解析し、前記タイミング算出部は、音楽の拍のタイミングで連写密度を高くする。

また、前記音声情報解析部は、前記音声情報取得部で取得された前記音声情報が人の声である場合に、ホルマントから母音の発音タイミングを解析し、前記タイミング算出部は、前記母音の発音タイミングで連写密度を高くする。

また、音声情報を格納した音データベースと、前記音データベースの音声情報に基づいて音声を発生させるスピーカと、を更に備え、前記音声情報取得部は、前記音データベースに格納された前記音声情報を解析する。

また、上記課題を解決するために、本発明の別の観点によれば、画像データを取得するステップと、音声情報を取得するステップと、前記音声情報が取得した前記音声情報を解析するステップと、前記音声情報の解析結果に基づいて、連写密度を高くするタイミングを算出するステップと、算出された前記タイミングにおいて連写密度が周期的に高くなるように撮像素子のシャッターを制御するステップと、を備える撮像装置の制御方法が提供される。この結果、人間が同期をとりやすいタイミング（Ｔｉｍｉｎｇ）で撮影されるため、ベストショット（Ｂｅｓｔ Ｓｈｏｔ）を演出する可能性を高くすることができる。

また、前記音声情報を解析するステップにおいて、前記音声情報が音楽である場合に音楽のリズムまたはテンポを解析し、前記タイミングを算出するステップにおいて、音楽の拍のタイミングで連写密度を高くする。

また、前記音声情報を解析するステップにおいて、前記音声情報が人の声である場合に、ホルマントから母音の発音タイミングを解析し、前記タイミングを算出するステップにおいて、前記母音の発音タイミングで連写密度を高くする。

また、前記音声情報を取得するステップにおいて、撮像装置が備える音データベースに格納された前記音声情報を解析する。

本発明によれば、少ない連写枚数でベストショットを確実に撮影することが可能となる。

本発明の一実施形態に係る撮像装置の構成例を示す模式図である。 特定のリズム、テンポを有する音楽の拍のタイミングで連写密度を周期的に高めた例を示す特性図である。 本実施形態の撮像装置における処理を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る撮像装置１００の構成例を示す模式図である。撮像装置１００は、一例としてデジタルスチルカメラ（ＤＳＣ）であり、高速での連写機能を備えたものである。図１に示すように、撮像装置１００は、撮影レンズ光学系１０２、撮像素子１０４、マイクロフォン１０６、スピーカ１０８、音データベース１１０、外部メモリ１１２、入力部１１４、ＣＰＵ１２０を有して構成される。

撮影レンズ光学系１０２は、被写体像を撮像素子１０４の撮像面に結像させる。撮像素子１０４は、ＣＣＤ，ＣＭＯＳなどのセンサから構成され、その撮像面に結像された被写体像を光電変換して、画像データとしてＣＰＵ１２０へ入力する。マイクロフォン１０６は、撮像装置１００の周辺の音声を取得して、音声データとしてＣＰＵ１２０へ入力する。音データベース１１０は、音楽や所定のリズムなどの音データを格納したデータベースである。外部メモリ１１２は、一例として撮像装置１００に対して着脱可能とされた外部記録媒体であり、撮像素子１０４によって取得された画像データを記録することができる。

ＣＰＵ１２０は、撮像素子１０４から送られた画像データに所定の処理を施して、外部メモリ１１２に記憶させる画像データ記録部１３０を備える。また、ＣＰＵ１２０は、音データベース１１０に格納された音声データをスピーカ１０８へ送り、スピーカ１０８から音声を発生させる音発生指令部１３２を備える。また、ＣＰＵ１２０は、外部音または内部音を解析（分析）して、解析結果に基づいてシャッターの連写密度が周期的に高くなるように制御する。このため、ＣＰＵ１２０は、音声情報取得部１２２、音声情報解析部１２４、タイミング算出部１２６、シャッター制御部１２８などの構成要素を備える。なお、図１に示すＣＰＵ１２０の各ブロックは、ＣＰＵ１２０とこれを機能させるプログラム（ソフトウェア）によって構成することができる。

上述したように、撮像装置１００は、高速での連写機能を備えている。ここで、撮像装置１００が備える連写機能は、被写体をバースト（Burst）撮影することで、一瞬のベストショット（Ｂｅｓｔ Ｓｈｏｔ）が得られる確率を高めて、ベストショットをを確率的に保存するものである。

一方、連写機能で撮影を行った場合、保存するデータ量は膨大なものとなり、外部メモリ１１２の容量、あるいは撮像装置１００の駆動用のバッテリーの電力などを相当程度消費する。更に、ユーザは、撮影後に一連の連写画像からベストショットを抽出する必要があり、高速撮影が可能である状況では撮影枚数が膨大になることから、非常な煩雑な抽出作業が要求される。例えば、１枚のベストショットのために、１００枚のオーダにおよぶ連写をすることになると、外部メモリ１１２の容量、あるいはバッテリーの電力を多く消費することになり、更には連続撮像画像から必要画像を選ぶ作業は困難となる。

以上のように、連写の高速化の恩恵によりシャッターチャンスを逃さないという利点が得られるが、その弊害も生じる。そこで、本実施形態では、あらかじめ撮像装置１００の音データベース１１０に登録してある音声、音楽や、周辺の音声、音楽を分析し、例えば音楽のテンポに合わせてインテリジェントに連写密度を制御して撮影する。ここで、連写の際のシャッターの時間間隔が短い場合を連写密度が高密度と称し、シャッターの間隔が長い場合を連写密度が低密度と称することとする。このように、音に合わせて連写密度を変えることで、被撮影者に撮影タイミングを知らしめることができ、被撮影者は、音に応じて連写密度が高くなるタイミングを認識できるため、連写密度が高くなるタイミングで撮影者が望む表情をしたり、望みのポーズをとることができる。これにより、総撮影枚数を削減しつつ、ベストショットを取得できる確率を大幅に高めることができる。従って、総撮影枚数を削減する一方で、従来の連写機能が有する確率的なベストショットの抽出を維持することができる。

具体的には、ＣＰＵ１２０は、音声情報取得部１２２によって取得した音声データ、あるいは音データベース１１０に格納された音声データを解析し、そのリズム、テンポから、拍のタイミングを検知する。また、ＣＰＵ１２０は、音声情報取得部１２２によって取得した音声データ、音データベース１１０に格納された音声データを音声情報解析部１２４によって解析し、音声データが人の声である場合は母音が発音されるタイミングを検知する。そして、ＣＰＵ１２０のタイミング算出部１２６は、拍のタイミングまたは母音が発音されるタイミングで連写密度を高めるようにタイミングを設定し、シャッター制御部１２８から撮像素子１０４に対して指令を出す。撮像素子１０４は、ＣＰＵ１２０から指示されたタイミングにて、連写密度を高くする。これにより、シャッターを切る（リリースする）間隔が拍のタイミングまたは母音が発音されるタイミングで短くなる。本実施形態では、音に応じて連写密度を変える連写を特にインテリジェント(ｉｎｔｅｌｌｉｇｅｎｔ)連写と称することとする。ユーザは、入力部１１４から入力することにより、連写密度が一定である通常の連写とインテリジェント連写の一方を選択して撮影することができる。なお、入力部１１４は、操作ボタンなどのポインティングデバイス、タッチパネルなど、ユーザが操作情報を入力するブロックである。

図２は、特定のリズム、テンポを有する音楽の拍のタイミングで連写密度を周期的に高めた例を示す特性図である。図２では、時刻Ｔ，２Ｔ，３Ｔ・・・が音楽の拍のタイミングであるものとする。図２に示すように、拍のタイミングでは、シャッターをリリースする間隔が短くなり、連写密度を高くする。マイクロフォン１０６によって取得された音声が一定のリズム、テンポを有する場合、拍のタイミングは一定の周期で現れるため、拍のタイミングで連写密度を高くして、拍の間のタイミングでは連射密度を低くする制御を実現できる。

図３は、本実施形態の撮像装置１００における処理を示すフローチャートである。先ず、ステップＳ１０では、ユーザによりインテリジェント連写が選択されたか否かが判定される。インテリジェント連写が選択されていない場合は、ステップＳ１２へ進み、通常の連写を行う。一般の連写は、被写体の明るさ等によって決まるシャッター速度（Shutter speed）、ＣＰＵ１２０の処理速度、あるいは外部メモリ１１２への転送速度などのうち、ボトルネック（Bottleneck）に当たる時間間隔Ｔ１で撮影を続ける。ユーザにより通常の連写モードが選択された場合は、時間間隔Ｔ１で連写が行われる。

一方、撮影者が、インテリジェント連写を選択した場合は、ステップＳ１４へ進み、更にユーザが内部音を選択したか否かを判定する。ユーザが内部音を選択した場合、ステップＳ１６へ進み、ＣＰＵ１２０は、音データベース１１０に登録してある音声をスピーカ１０８から発音させる。また、ＣＰＵ１２０は、ステップＳ１６において、スピーカ１０８から発音される音声や音楽のデータを解析する。ただし、あらかじめ解析したデータを音データベース１１０に留保していてもよい。この解析では、発音される音が人の音声の時は、母音の発生タイミング（Timing）を推定する。また、発音される音が音楽の時は、リズム（Rhythm）やテンポ（Tempo）に当たるタイミングを抽出する。そして、次のステップＳ１８では、解析したデータに基づいて、また通常撮影時の時間間隔Ｔ１を必要に応じて参照して、シャッタータイミングを変化させるタイミング計画を決定する。そして、次のステップＳ２０では、ステップＳ１８のタイミング計画に基づいて、シャッタータイミングを変化させながら連写を行う。

一方、ステップＳ１４でユーザが外部音を選択したときは、撮像装置１００が内蔵するマイクロフォン１０６からＣＰＵ１２０へ音声が入力される。この際の処理は、内部音と同様であるが、予め音声を分析しておくことができないため、解析結果をフィードバックして連写密度を設定する。ＣＰＵ１２０は、取得した外部音を内部音と同様に解析し（ステップＳ２２）、連写密度を高くするタイミング計画を決定し（ステップＳ２４）、そのタイミング計画に基づいてシャッタータイミングを変化させながら連写を行う（ステップＳ２６）。

ステップＳ１６，Ｓ２２における音の解析において、人の声を解析する場合は、母音が発音されるタイミングを検知する。このため、音声をフーリエ変換し、パワースペクトルを算出する。そして、周波数毎のパワー特性からホルマント（Ｆｏｒｍａｎｔ）を抽出する。ここで、ホルマントの特性は母音毎に決まっているので、ある母音ホルマントから次の母音ホルマントまでの間隔をＴｉとして、以下の式で求まる時間間隔Ｔで連写する。これにより、母音が発音するタイミングで連写密度を高めることが可能となる。

この際、ある母音ホルマントから次の母音ホルマントまでの間隔Ｔは、通常、人が話す速さに応じて変化する。従って、例えば撮影者が被撮影者（モデル）に話しかけながら撮影を行う場合、予め被撮影者に対して、話す速さに応じてシャッタータイミング間隔が短くなることを伝えておくことで、被撮影者は、撮影者の話す速さに基づいて、表情を変えることで、ベストショットが得られる確率を高めることが可能である。あるいは、被撮影者が話しかけながら撮影をすることも可能であり、この場合、被撮影者は自身の話す速さに応じて連写密度を換えることができるため、やはりベストショットを得る確率を高めることができる。

また、音楽のリズム、テンポと同期する場合、外部音または内部音のリズム、テンポを解析する。この場合は、音の基本周波数を検出し、基本周波数の倍音のピークをとって拍のタイミングを検出する。なお、拍のタイミングを検出する方法として、例えば特開２００７−３３８５１号公報に記載された方法を用いることができる。そして、抽出されたリズムのタイミング（拍のタイミング）に同期して連写密度を制御する。なお、リズムの間隔が通常のＴ１より短いときは、Ｔ１でシャッターを切るものとする。また、この時、人間の聴覚に関する検知限を考慮してもよい。図２に示すように、連写密度の制御は、ｎＴで高密度、ｎＴ＋Ｔ／２（ｎは自然数）で低密度となるようにする。

以上のように、音楽の場合においても、リズムに合わせて撮影していることを被撮影者に予め伝えることで、被撮影者は、連写密度が高くなる拍のタイミングで理想の表情、ポーズをとることができる。

従って、人の声、音楽のいずれの場合においても、撮るタイミングが音声により被撮影者に与えられるため、被撮影者に連写密度が高くなるタイミングを知らせることができ、被撮影者は与えられたタイミングで理想の表情、ポーズなどをすることができる。従って、ベストショットの確率を大幅に高めることが可能である。

以上説明したように本実施形態によれば、撮像装置１００の連写機能のインテリジェント化し、シャッタータイミングを音(音声、音楽)によって伝達する。音声や音楽には、リズムやテンポなどの人間が同期をとりやすい特徴があり、この特徴を利用して連写間隔を制御する。これにより、音を介して、被撮影者と撮影者との間に共通(暗黙)のコンセンサスが得られ、これに基づいて撮影が行われるので、より多くのベストショットを演出することが可能となる。従って、撮影枚数の削減あるいは撮影時間を短縮する効果が得られ、ベストショットの抽出負荷を軽減することが可能となる。また、被撮影者によってはシャッターを切る瞬間に緊張することもあるが、被撮影者に複数回のシャッターチャンスを与えることができ、且つ音楽などのリズムのタイミングで撮影されるという事実は、被撮影者の緊張感を軽減させるため、より一層のベストショットの取得確率を高めることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１２２ 音声情報取得部
１２４ 音声情報解析部
１２６ タイミング算出部
１２８ シャッター制御部

Claims (8)

1. 画像データを取得する撮像素子と、
   音声情報を取得する音声情報取得部と、
   前記音声情報取得部が取得した前記音声情報を解析する音声情報解析部と、
   前記音声情報の解析結果に基づいて、連写密度を高くするタイミングを算出するタイミング算出部と、
   算出された前記タイミングにおいて連写密度が周期的に高くなるように前記撮像素子のシャッターを制御するシャッター制御部と、
   を備えることを特徴とする、撮像装置。
2. 前記音声情報解析部は、前記音声情報取得部で取得された前記音声情報が音楽である場合に音楽のリズムまたはテンポを解析し、
   前記タイミング算出部は、音楽の拍のタイミングで連写密度を高くすることを特徴とする、請求項１に記載の撮像装置。
3. 前記音声情報解析部は、前記音声情報取得部で取得された前記音声情報が人の声である場合に、ホルマントから母音の発音タイミングを解析し、
   前記タイミング算出部は、前記母音の発音タイミングで連写密度を高くすることを特徴とする、請求項１に記載の撮像装置。
4. 音声情報を格納した音データベースと、
   前記音データベースの音声情報に基づいて音声を発生させるスピーカと、を更に備え、
   前記音声情報取得部は、前記音データベースに格納された前記音声情報を解析することを特徴とする、請求項１に記載の撮像装置。
5. 画像データを取得するステップと、
   音声情報を取得するステップと、
   前記音声情報が取得した前記音声情報を解析するステップと、
   前記音声情報の解析結果に基づいて、連写密度を高くするタイミングを算出するステップと、
   算出された前記タイミングにおいて連写密度が周期的に高くなるように撮像素子のシャッターを制御するステップと、
   を備えることを特徴とする、撮像装置の制御方法。
6. 前記音声情報を解析するステップにおいて、前記音声情報が音楽である場合に音楽のリズムまたはテンポを解析し、
   前記タイミングを算出するステップにおいて、音楽の拍のタイミングで連写密度を高くすることを特徴とする、請求項５に記載の撮像装置の制御方法。
7. 前記音声情報を解析するステップにおいて、前記音声情報が人の声である場合に、ホルマントから母音の発音タイミングを解析し、
   前記タイミングを算出するステップにおいて、前記母音の発音タイミングで連写密度を高くすることを特徴とする、請求項５に記載の撮像装置の制御方法。
8. 前記音声情報を取得するステップにおいて、撮像装置が備える音データベースに格納された前記音声情報を解析することを特徴とする、請求項５に記載の撮像装置の制御方法。

Images