JP6012342B2 - 再生装置、再生装置の制御方法 - Google Patents

Description

本発明は再生装置、再生装置の制御方法に関する。

近年、ライトフィールド（登録商標）カメラと呼ばれる、異なる焦点距離を持つマイクロレンズの集まり（マイクロレンズアレイ）と高解像度の撮像素子を備えたカメラが知られている。この種のカメラの１回の撮影で得られた画像データを用いることで、再生時に任意の位置に焦点を合わせた画像を再構築することができる。

例えば、特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。この分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、これらの分割された光電変換部それぞれからの光電変換信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。そして、得られた複数の視差画像を用いて、フォーカスしたい箇所を合成処理することにより撮影後にフォーカスを合わせることが開示されている。

米国特許第４４１０８０４号公報

しかしながら、ライトフィールド（登録商標）カメラや特許文献１の撮像装置で、動画を撮影した場合、再フォーカスした位置に適した音声を再生できなくなってしまう場合があった。

すなわち、通常の撮像装置で動画撮影を行う場合、音声の指向性や遅延時間などを撮影時に予め決定して撮影を行っていたが、再フォーカス可能な動画を撮影した場合には、再生時に音声の指向性や遅延時間などを手動で調整しなくてはならないという問題があった。

そこで本発明は、再フォーカス可能な動画を再生する場合に自動的に音声の指向性や遅延時間を調整することができる再生装置を提供することを目的とする。

本発明の再生装置は、再フォーカス可能な画像を取得する画像取得手段と、前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得手段と、前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得手段により取得された音声の出力のタイミングを制御する制御手段とを有し、前記制御手段は、前記音声のサンプリング周波数を調整することにより、前記音声の出力のタイミングを制御する。

本発明の再生装置は、再フォーカス可能な画像を取得する画像取得手段と、前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得手段と、前記音声取得手段により取得された音声を出力する出力手段と、前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得手段により取得された音声の指向特性を調整して出力するように前記出力手段を制御する制御手段と、前記画像取得手段により取得された前記再フォーカス可能な画像を用いて、表示装置に出力するための画像を生成する処理手段とを有し、前記処理手段は、前記再フォーカス可能な画像を用いて、異なる再フォーカス位置の複数の再フォーカス画像を生成し、前記複数の再フォーカス画像の一つを前記表示装置に出力するための画像として選択し、前記制御手段は、前記表示装置に出力するための画像の再フォーカス位置に応じて、前記音声取得手段により得られた音声の指向特性を調整して出力するように前記出力手段を制御する。

本発明によれば、再フォーカス可能な動画を再生する場合に自動的に音声の指向性や遅延時間を調整することができ、手動調整の手間を軽減することができる。

本実施例の撮像装置１００のブロック図である。 本実施例の光学系の説明図である。 本実施例の光学系の説明図である。 本実施例の視差画像の生成について説明するための図である。 本実施例のリフォーカス画像と仮想的なフォーカス位置の関係を示す図である。 本実施例の音声出力タイミングの調整について説明するための図である。 本実施例の撮像装置７００のブロック図である。 本実施例のマイクの配置を示す図である。 本実施例のフォーカス位置を示す図である。 本実施例の音声の指向特性の調整について説明するための図である。

以下、図面を参照して本発明の実施形態について詳細に説明するが、本発明は以下の実施形態に限定されるものではない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。

（実施例１）
本実施例においては、再生装置の例として、再フォーカス可能な動画を撮影することができる撮像装置を例にとって説明する。本実施例の撮像装置１００は、再フォーカス可能な動画を撮影し得られた動画データと、撮影時に得られた音声データを記録媒体に記録することができる。また、記録媒体に記録された動画データと音声データを再生することができる。再生時には、動画の任意の位置に再フォーカス処理を行うことができ、その再フォーカス位置に応じて、再生時の音声の出力タイミングを調整することができる。なお、再フォーカス可能な動画は、複数フレームの再フォーカス可能な画像と音声データとからなる。すなわち、本実施例の撮像装置は、再フォーカス可能な画像を毎秒３０回撮影して、複数フレームの再フォーカス可能な画像データと、マイクにより集音された音声データとを多重化して（関連づけて）記録媒体に記録する。

以下、このような撮像装置について説明する。

図１は、本実施例の撮像装置１００の構成を示すブロック図である。

本実施例の撮像装置１００は、図１に示すように、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４、メモリ１０５、映像出力部１０６、表示パネル１０７を有する。また、撮像装置１００は、メディアＩ／Ｆ１０８、記録メディア１０９、メモリバス１１０、マイク１１１、音声入力部１１２、音声出力部１１３、リフォーカス処理部１１４、操作部１１５、コントローラ１１６、多重分離部１１７を有する。

本実施例の撮像装置１００は、基本的にはコントローラ１１６の制御により動作し、各ブロックは、コントローラ１１６により制御されているものとする。また、各構成要素はメモリバス１１０に接続され、メモリ１０５に対してデータのやり取りを行なってデータ処理を行なっている。メモリ１０５は高速でランダムアクセス可能なダイナミックＲＡＭである。コントローラ１１６は、各構成要素からのメモリアクセス要求を調停し、時分割でメモリ１０５へのデータ読み書きが行なえるよう制御している。

次に、撮像装置１００の各ブロックについて説明する。

コントローラ１１６は、撮像装置１００の各ブロックを制御するもので、例えばマイクロコンピュータや、ＣＰＵとＲＡＭの組み合わせなどからなる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。

主レンズ１０１は、単一または複数のレンズからなる結像光学系であり、前面（図の左側）から被写体の光を受けて、マイクロレンズ１０２面に投射する。なお、主レンズ１０１にはフォーカス機能やズーム機能を持たせるよう構成してもよい。

マイクロレンズ１０２は、主レンズ１０１と撮像素子１０３の間に配置され、主レンズ１０１からの光線を入射角度に応じて分光し、撮像素子１０３に出射するものである。マイクロレンズ１０２は、例えば、複数のレンズ群からなるマイクロレンズアレイである。

撮像素子１０３は、ＣＣＤあるいはＣＭＯＳセンサ等の光電変換素子であり、複数の画素（光電変換素子）がマトリクス状に配置されており、マイクロレンズ１０２から入射された光を電気信号に変換し画像信号としてＬＦデータ入力部１０４へ出力する。

ＬＦデータ入力部１０４は撮像素子１０３により得られた画像信号をデジタル化し、現像処理を行って、再フォーカス可能な画像データ（以後、ＬＦデータ）に変換し、メモリ１０５のＬＦデータ領域に格納する。本実施例においては、撮影により得られたＬＦデータを、メモリ１０５のＬＦデータ領域に格納し、後に例えば１５個のＬＦデータと０．５秒分の音声データと多重化して記録媒体に記録する。

マイク１１１は、集音した音声を電気信号に変換して音声信号を取得し、音声入力部１１２に出力する。

音声入力部１１２はマイク１１１により得られた音声信号をデジタル化し、メモリ１０５の音声データ領域に格納する。なお、所定の音声圧縮技術を用いて音声データを圧縮しても良い。

多重分離部１１７は映像ストリームデータの多重、分離を行なう。すなわち、撮影時は撮像により得られた複数のＬＦデータと音声データをメモリ１０５から読み出し、所定のフォーマットで多重化して、多重化ストリームデータを生成する。また、リフォーカス処理部１１４で使うための、レンズ情報、撮影情報を多重化ストリームデータに多重する。多重分離部１１７は、生成した多重化ストリームデータをメモリ１０５の多重化ストリームデータ領域に格納する。ここでいうレンズ情報とは、例えば、レンズの焦点距離に関する情報である。また、撮影情報とは、例えばフォーカス位置、絞り値などである。

また、再生時には、後述の記録メディア１０９から読出され、メモリ１０５の多重化ストリームデータ領域に一時保存された多重化ストリームデータを読み出し、複数のＬＦデータと音声データに分離する。すなわち、再フォーカス可能な画像（ＬＦデータ）の取得（画像取得）および、再フォーカス可能な画像に関連づけられた音声データ音声取得（音声データの取得）を行う。そして、分離した複数のＬＦデータと音声データを、メモリ１０５のＬＦデータ領域と音声データ領域に格納する。また、多重されていたレンズ情報、撮影情報もこのとき分離して、メモリ１０５に格納する。

メディアＩ／Ｆ１０８は記録メディア１０９に対してデータの読み書きを制御するインターフェースである。撮影時はメモリ１０５の多重化ストリームデータ領域の多重化ストリームデータを記録メディア１０９に記録する。再生時には、メディアＩ／Ｆ１０８は、記録メディア１０９から多重化ストリームデータを読み出して、メモリ１０５の多重化ストリームデータ領域に格納する。なお、記録メディア１０９に対してはＦＡＴなどのファイルシステム形式でデータ記録を行なっており、ファイルシステムの生成や制御等もメディアＩ／Ｆ１０８が行なう。

記録メディア１０９はハードディスクドライブや不揮発半導体メモリ（例えばフラッシュメモリ）である。なお、記録メディアは半導体記録媒体に限られず、磁気記録媒体、光学式記録媒体、などどのような記録場媒体であってもかまわない。

リフォーカス処理部１１４はメモリ１０５のＬＦデータ領域に格納されたＬＦデータをフレーム単位で読み出して、リフォーカス処理を行って、リフォーカス後の映像フレームを生成しメモリ１０５の映像信号領域に格納する。リフォーカス処理の詳細は後述する。

映像出力部１０６はメモリ１０５の映像信号領域から映像データを読み出し、表示パネル１０７と、不図示の映像出力端子に出力する。表示パネル１０７は映像出力部１０６から入力された映像信号を映像として表示するものであって、例えば液晶パネルや有機ＥＬパネル等である。

音声出力部１１３はメモリ１０５の音声データの領域から音声データを読み出し、不図示の音声出力端子に出力したり、アナログ変換を行って音声信号をスピーカから出力したりする。また、音声出力部１１３は、後述するようにリフォーカス処理により再フォーカス位置に応じて音声の遅延時間を調整する処理も行う。

操作部１１５はユーザが操作するシャッターボタン、設定ボタン、各種操作ボタン、または前記表示パネル１０７の表面に配置されたタッチパネルセンサーである。いずれのボタンが操作されたかを示す操作信号は、コントローラ１１６に送られる。

次に、撮影時における主レンズ１０１、マイクロレンズ１０２、撮像素子１０３、ＬＦデータ入力部１０４の動作を詳細に説明する。

図２、図３は、本実施例の撮像光学系を示す図である。

図２において、２０４は、撮像素子１０３の画素を示している。

図２（ａ）に示すようにマイクロレンズ１０２は撮像素子１０３の前面にマトリクス状に複数配置されている。なお、本実施例におけるマイクロレンズの大きさや数は図示されているものに制限されるものではない。

また、図２（ｂ）に示すように１つのマイクロレンズに対し、撮像素子はｎ×ｍ個の画素２４０が対応するように配置されている。この撮像素子の画素数によって光線の分割数が決定される。本実施例の説明では光線の分割数を５×５とし、１つのマイクロレンズに対し５×５個の撮像素子の画素が配置されている状態を図示している。

また、図３に示すように、被写体３０５から放たれた１点の光３０７は光束となって主レンズ１０１に入射する。入射した光束は主レンズ１０１によって集光されてマイクロレンズ１０２の表面の結像面３０８に投射される。投射された光はマイクロレンズ１０２において光の入射角度によって分光されて、撮像素子１０３の画素３２１〜３２５で受光される。画素３２１〜３２５で受光された光は光電変換され撮像信号として出力される。

ここで、画素３２１で受光される光は光路３１１からの光束であり、画素３２２で受光される光は光路３１２からの光束である。同様に、画素３２３で受光される光は光路３１３からの光束であり、画素３２４で受光される光は光路３１４からの光束であり、画素３２５で受光される光は光路３１５からの光束である。画素３２１〜３２５で受光される光は同じ被写体の光でありながら、主レンズ面の異なる領域で受光された光であり、それぞれは視差のある光となる。

ここでは、被写体３０５の１点の光３０７が撮像される様子について説明したが、実際には主レンズ前面の全ての被写体から無数の光が主レンズに入射しており、マイクロレンズ全体に被写体が結像するように投射されている。それぞれのマイクロレンズ１０２は投射された光を分光して、撮像素子のｎ×ｍ個の画素に出射している。

ここで、ＬＦデータ入力部１０４は、図４に示すように、マイクロレンズ１０２の各レンズに対応するｎ×ｍ個の画素の同じ位置の画素を順に並べた視差画像を生成する。具体的には、４１１のようにｎ×ｍ個の画素のうち左上の画素のみを集めた第１の視差画像、４１２のようにｎ×ｍ個の画素のうち左上の画素の右隣の画素のみを集めた第２の視差画像をそれぞれ生成する。本実施例では、マイクロレンズ１０２の各レンズに対して５×５個の画素が対応するため、第２５の視差画像まで生成する。

このようにＬＦデータ入力部１０４は、撮像された撮像信号をデジタル化し現像処理を行い、第１から第２５の視差画像を生成して、一つのＬＦデータを生成する。すなわち、ＬＦデータにはマイクロレンズに対応するｎ×ｍ個の視差画像が格納されている。

なお、再生装置においては、ｎ×ｍ個の視差画像のすべてまたは一部を用いて、それらの合成位置をそれぞれシフトして合成することで、所定の位置にフォーカスのあった画像を生成するリフォーカス処理を実行する。

次に、リフォーカス処理部１１４におけるリフォーカス処理について説明する。

リフォーカス処理部１１４は、メモリ１０５のＬＦデータ領域に格納されたＬＦデータと撮影時のレンズ情報、撮影情報とを用いて、撮影装置から複数の合焦距離のリフォーカス画像を生成する。

まず、リフォーカス処理部１１４は、記録メディア１０９から読出された多重化ストリームデータより分離され、メモリ１０５のＬＦデータ領域に格納されたＬＦデータを読出す。前述のように、各ＬＦデータはそれぞれ、複数の視差画像を格納している。

次に、リフォーカス処理部１１４は、複数のリフォーカス画像を生成する。本実施例では、ＬＦデータに格納されている複数の視差画像を用いて、８枚のリフォーカス画像を生成するものとするが、リフォーカス画像の生成数は８枚に限られない。図５に示すように、仮想的なフォーカス位置が１ｍのリフォーカス画像５０１、２ｍのリフォーカス画像５０２、３ｍ〜３０ｍのリフォーカス画像５０３〜５０８をそれぞれ、ＬＦデータに格納されている複数の視差画像を合成することで生成する。なお、視差画像のシフト量と仮想的なフォーカス位置は、あらかじめ実験によりその関係を求めることができるため、実験により求めたこれらの情報を用いる。なお、仮想的なフォーカス位置は再フォーカス位置と表現してもよい。この情報は、リフォーカス処理部１１４に保存されていても良いし、撮像時に多重化ストリームデータにこの情報を多重しておき、再生時に分離して使用するようにしても良い。

次に、リフォーカス画像を選択する処理を行う。これは、ユーザが操作部１１５を操作することで、コントローラ１１６により画面上の任意の領域が選択される。リフォーカス処理部１１４は、指定された領域の画像のコントラストが最も高くなるリフォーカス画像を判定する。例えば、リフォーカス画像５０１〜５０８の指定された位置の画像のコントラストをそれぞれ解析し、最もコントラストの高い画像を判定する。

そして、リフォーカス処理部１１４は、リフォーカス画像５０６を映像出力部１０６に送信する。

このようにして、リフォーカス処理部１１４は、複数のリフォーカス画像を生成すると共に、いずれのリフォーカス画像を表示させるかを判定する。

なお、本実施例においては、ユーザにより指定された領域におけるコントラストを判定するものとしたが、例えば画面中心などの所定の領域のコントラストを判定しても良い。また、コントラストを判定するのではなく、エッジ検出処理を行っても良いし、画像の周波数解析を行って、コントラストの高い画像を判定しても良い。

このような処理を動画の１フレーム毎に行うことで、動画再生中に任意の領域に李フォーカスした画像を表示することができる。

次に、再フォーカス可能な動画の再生中の音声の出力について説明する。

前述したように、記録メディア１０９に記録されている「再フォーカス可能な動画」は、複数のＬＦデータと音声データとからなる多重化ストリームデータで構成されている。再生する場合、多重分離部１１７で、多重化ストリームデータから、音声データを分離して、メモリ１０５に格納する。

また、リフォーカス処理部１１４は、さらに、指定された領域のコントラストを例えば、リフォーカス画像５０６が最もコントラストが高いと判定されると、仮想的なフォーカス位置の情報をコントローラ１１６に送信する。再フォーカス位置の情報は、リフォーカス画像５０６を生成するための視差画像のシフト量から、前述した視差画像のシフト量と再フォーカス位置を示す情報に基づいて、再フォーカス位置を求める。具体的には、リフォーカス画像５０６が選択されているときは再フォーカス位置は、１０ｍである。

コントローラ１１６は、この再フォーカス位置に基づいて、音声の遅延時間を算出する。具体的には、例えば音速を３４０ｍ／ｓとすると、再フォーカス位置、１０ｍの位置からの音声は、１０÷３４０＝０．０２９４秒遅延して集音されていたことになる。コントローラ１１６は、この遅延時間を算出し、遅延時間に基づいて、音声出力部１１３における音声出力のタイミングを調整する。

音声出力部１１３は、メモリ１０５に記憶された音声データを出力する際には、仮想的には撮像装置の位置で集音された音声を再現する、すなわち０ｍ地点での音声を再生するように映像と同期して再生を行っている。したがて、このまま再生を行うと、１０ｍ離れた位置から出力された音声は画像に対して０．０２９４秒（すなわち、３０フレーム毎秒の動画であれば１フレーム分の時間）遅延することになる。そこで、コントローラ１１６は、仮想的なフォーカス位置に対応する音声の遅延時間分、音声の出力されるタイミングを早くするように調整するように音声出力部１１３を制御する。

音声出力部１１３は、音声データを所定のサンプリング周波数で、アナログの音声信号に変換して出力するが、音声の出力タイミングを調整する場合、サンプリング周波数Ｆｓ（Ｈｚ）を可変する。この動作を図６を用いて説明する。

図６（ａ）はリフォーカス処理部１１４が選択したリフォーカス画像の合焦距離の時間変化を示した図である。時間Ｔ１，Ｔ３，Ｔ５にユーザがリフォーカス位置を１１５から指示しリフォーカス処理の合焦距離を変化し始めている。Ｔ１ではＴ１以前より合焦距離を近くなる画像位置を選択している。そのため、コントローラ１１６は、図６（ｂ）に示すように、音声出力タイミングを遅くするようにサンプリング周波数Ｆｓを一時的に低くするように音声出力部１１３を制御する。Ｔ３ではＴ３以前より合焦距離を遠くなる画像位置を選択している。そのため、コントローラ１１６は、図６（ｂ）に示すように、音声出力タイミングを早くするようにサンプリング周波数Ｆｓを一時的に高くするように、音声出力部１１３を制御する。このとき、サンプリング周波数Ｆｓの偏差を大きくしすぎると本来の音声の周波数が変わってしまうなどの音質劣化が発生するため、音質劣化の許せる周波数の偏差の最大値と、周波数の偏差の時間変化の最大値を決めておくと、安定した音声再生ができる。そのためには、リップシンク遅延時間を変更するためにＴ１―Ｔ２間、Ｔ３−Ｔ４間、Ｔ５−Ｔ６間の期間が必要となる。

なお、リフォーカス処理部１１４が、ユーザが指定した画像位置のリフォーカス画像にすぐに切り替えると、リップシンク遅延時間を変更する間、画像と音声の遅延が大きくなってしまう。そこで、ユーザが指定した画像位置のリフォーカス画像にすぐに切り替えないようにしても良い。すなわち、音声出力タイミングの変更のために必要な時間の間、目的のリフォーカス画像と表示中のリフォーカス画像の間の仮想的なフォーカス位置の別のリフォーカス画像を順番に表示するようにしても良い。このように、リフォーカス処理の合焦距離を変化させることで画像と音声の遅延差に違和感をなくすことができる。

以上のように、本実施例の撮像装置１００は、再フォーカス可能な動画を再生する際に、そのフォーカス領域に応じて、再生時の音声の出力タイミングを調整することができる。そのため、手動調整の手間を軽減することができる。

なお、本実施例においては、複数の視差画像の生成をＬＦデータ入力部１０４が記録時に生成するものとして説明したが、リフォーカス処理部１１４が再生時に生成してもよい。

また、ＬＦデータ入力部１０４が、記録時に複数のリフォーカス画像を生成して、ＬＦデータを生成しても良い。この場合には、リフォーカス処理部１１４は、ＬＦデータに格納されている複数のリフォーカス画像の選択を行えば良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

なお、本実施例においては、再フォーカス可能な動画を撮影し、記録することができる撮像装置を例にとって説明したが、再フォーカス可能な動画を再生することができる装置であればどのような装置であってもよい。例えば、パソコン、テレビ、ハードディスクレコーダ、カーナビゲーション、携帯電話、スマートフォン、タブレット型情報端末などであってもよい。また、コンピュータに上述した処理を実行させる為のプログラムも本発明の思想に含まれる。

（実施例２）
本実施例においては、再生装置の例として、再フォーカス可能な動画を撮影することができる撮像装置を例にとって説明する。本実施例の撮像装置１００は、再フォーカス可能な動画を撮影し得られた動画データと、撮影時に得られた音声データを記録媒体に記録することができる。また、記録媒体に記録された動画データと音声データを再生することができる。再生時には、動画の任意の位置に再フォーカス処理を行うことができ、その再フォーカス位置に応じて、再生時の音声の指向特性を調整することができる。なお、再フォーカス可能な動画は、複数フレームの再フォーカス可能な画像と音声データとからなる。すなわち、本実施例の撮像装置は、再フォーカス可能な画像を毎秒３０回撮影して、複数フレームの再フォーカス可能な画像データと、マイクにより集音された音声データとを多重化して記録媒体に記録する。

以下、このような撮像装置について説明する。

図７は、本実施例の撮像装置７００の構成を示すブロック図である。

本実施例の撮像装置７００は、図７に示すように、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４、メモリ１０５、映像出力部１０６、表示パネル１０７を有する。また、撮像装置７００は、メディアＩ／Ｆ１０８、記録メディア１０９、メモリバス１１０、マイク７１１、音声入力部７１２、音声出力部７１３、リフォーカス処理部１１４、操作部１１５、コントローラ７１６、多重分離部１１７を有する。

本実施例の撮像装置７００は、基本的にはコントローラ７１６の制御により動作し、各ブロックは、コントローラ７１６により制御されているものとする。また、各構成要素はメモリバス１１０に接続され、メモリ１０５に対してデータのやり取りを行なってデータ処理を行なっている。メモリ１０５は高速でランダムアクセス可能なダイナミックＲＡＭである。コントローラ７１６は、各構成要素からのメモリアクセス要求を調停し、時分割でメモリ１０５へのデータ読み書きが行なえるよう制御している。

次に、撮像装置７００の各ブロックについて説明する。

コントローラ７１６は、撮像装置７００の各ブロックを制御するもので、例えばマイクロコンピュータや、ＣＰＵとＲＡＭの組み合わせなどからなる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。

なお、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４、メモリ１０５、映像出力部１０６、表示パネル１０７については、実施例１と同様であるため説明を省略する。また、メディアＩ／Ｆ１０８、記録メディア１０９、メモリバス１１０、リフォーカス処理部１１４、操作部１１５、についても、実施例１と同様であるため説明を省略する。

マイク７１１は、集音した音声を電気信号に変換して音声信号を取得し、音声入力部７１２に出力する。本実施例においては、マイク７１１は、２個以上のマイクから構成されている。例えば、本実施例においては、図８（ａ）に示すような配置で、３つのマイクからなるものとする。

音声入力部７１２はマイク７１１の複数のマイクによりにより得られた複数の音声信号をそれぞれデジタル化し、メモリ１０５の音声データ領域に格納する。なお、所定の音声圧縮技術を用いて音声データを圧縮しても良い。

音声出力部７１３はメモリ１０５の音声データの領域から音声データを読み出し、不図示の音声出力端子に出力したり、アナログ変換を行って音声信号をスピーカから出力したりする。また、音声出力部７１３は、後述するようにリフォーカス処理により再フォーカスされた合焦位置に応じて音声の指向特性を調整する処理も行う。

次に、再フォーカス可能な動画の再生中の音声の出力について説明する。

まず、記録メディア１０９に記録されている「再フォーカス可能な動画」は、複数のＬＦデータと音声データとからなる多重化ストリームデータで構成されている。再生する場合、多重分離部１１７で、多重化ストリームデータから、音声データを分離して、メモリ１０５に格納する。

また、リフォーカス処理部１１４は、さらに、指定された領域のコントラストを例えば、リフォーカス画像５０６が最もコントラストが高いと判定されると、仮想的なフォーカス位置の情報をコントローラ７１６に送信する。仮想的なフォーカス位置の情報は、リフォーカス画像５０６を生成するための視差画像のシフト量から、前述した視差画像のシフト量と仮想的なフォーカス位置を示す情報に基づいて、仮想的なフォーカス位置を求める。具体的には、リフォーカス画像５０６が選択されているときは仮想的なフォーカス位置は、１０ｍである。また、リフォーカス処理部１１４は、さらに指定された領域の位置の方向の情報もコントローラ７１６に送信する。

コントローラ７１６は、この仮想的なフォーカス位置にと、指定された領域の方向と基づいて、音声の指向特性を調整して出力するように音声出力部７１３を制御する。本実施例においては、図８（ａ）のように配置された３個のマイクにより得られた音声を用いるため、例えば、図８（ｂ）のように６個の指向性を持つ音声を生成することができる。図８（ｂ）の方向Ａの線上にはマイク１とマイク３により生成された音声、方向Ｂの線上にはマイク１とマイク２により生成された音声を示している。同様の方法で６チャンネルの音声を生成することができ、さらに生成された６チャンネルの音声をミックスすることで、様々な指向特性の音声を生成することができる。

例えば、図９に示すように、仮想的なフォーカス位置にと、指定された領域の方向によって、フォーカスされている位置が、それぞれＡ点、Ｂ点、Ｃ点である場合を例にとって説明する。なお、Ａ点とＢ点は方向は異なるが、合焦距離が等しい点、Ａ点とＣ点は方向は同じだが、合焦距離が異なる点である。

この場合、コントローラ７１６は、各点を仮想的なフォーカス位置とした場合に、図１０に示すような音声の指向特性になるように、生成された６チャンネルの音声をミックスするように音声出力部７１３を制御する。

図１０（ａ）は、図９のＡ点を仮想的なフォーカス位置とした場合の音声の指向特性を示している。図１０（ｂ）は、図９のＢ点を仮想的なフォーカス位置とした場合の音声の指向特性を示している。図１０（ｃ）は、図９のＣ点を仮想的なフォーカス位置とした場合の音声の指向特性を示している。このように、図１０（ａ）と、図１０（ｂ）とを比較してわかるように、指定された位置に応じた指向性の音声を生成している。また、図１０（ａ）と、図１０（ｃ）とを比較してわかるように、仮想的なフォーカス位置が遠くなるほど、指向性が狭くなるように音声を生成している。

なお本実施例においては、コントローラ７１６は、音声の指向特性を変更していたが、さらに実施例１と同様に、出力タイミングを調整しても良い。

以上のように、本実施例の撮像装置１００は、再フォーカス可能な動画を再生する際に、そのフォーカス領域に応じて、再生時の音声の出力タイミングを調整することができる。そのため、手動調整の手間を軽減することができる。

なお、本実施例においては、複数の視差画像の生成をＬＦデータ入力部１０４が記録時に生成するものとして説明したが、リフォーカス処理部１１４が再生時に生成してもよい。

また、ＬＦデータ入力部１０４が、記録時に複数のリフォーカス画像を生成して、ＬＦデータを生成しても良い。この場合には、リフォーカス処理部１１４は、ＬＦデータに格納されている複数のリフォーカス画像の選択を行えば良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

なお、本実施例においては、再フォーカス可能な動画を撮影し、記録することができる撮像装置を例にとって説明したが、再フォーカス可能な動画を再生することができる装置であればどのような装置であってもよい。例えば、パソコン、テレビ、ハードディスクレコーダ、カーナビゲーション、携帯電話、スマートフォン、タブレット型情報端末などであってもよい。また、コンピュータに上述した処理を実行させる為のプログラムも本発明の思想に含まれる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (9)

1. 再フォーカス可能な画像を取得する画像取得手段と、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得手段と、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得手段により取得された音声の出力のタイミングを制御する制御手段とを有し、
   前記制御手段は、前記音声のサンプリング周波数を調整することにより、前記音声の出力のタイミングを制御することを特徴とする再生装置。
2. 再フォーカス可能な画像を取得する画像取得手段と、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得手段と、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得手段により取得された音声の出力のタイミングを制御する制御手段と、
   前記画像取得手段により取得された前記再フォーカス可能な画像を用いて、表示装置に出力するための画像を生成する処理手段とを有し、
   前記処理手段は、前記再フォーカス可能な画像を用いて、異なる再フォーカス位置の複数の再フォーカス画像を生成し、前記複数の再フォーカス画像の一つを前記表示装置に出力するための画像として選択し、
   前記制御手段は、前記表示装置に出力するための画像の再フォーカス位置に応じて、前記音声の出力のタイミングを制御することを特徴とする再生装置。
3. 再フォーカス可能な画像を取得する画像取得手段と、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得手段と、
   前記音声取得手段により取得された音声を出力する出力手段と、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得手段により取得された音声の指向特性を調整して出力するように前記出力手段を制御する制御手段と、
   前記画像取得手段により取得された前記再フォーカス可能な画像を用いて、表示装置に出力するための画像を生成する処理手段とを有し、
   前記処理手段は、前記再フォーカス可能な画像を用いて、異なる再フォーカス位置の複数の再フォーカス画像を生成し、前記複数の再フォーカス画像の一つを前記表示装置に出力するための画像として選択し、
   前記制御手段は、前記表示装置に出力するための画像の再フォーカス位置に応じて、前記音声取得手段により得られた音声の指向特性を調整して出力するように前記出力手段を制御することを特徴とする再生装置。
4. 前記処理手段は、前記再フォーカス可能な画像のフレーム毎に前記複数の再フォーカス画像を生成することを特徴とする請求項２または３に記載の再生装置。
5. 前記処理手段は、前記再フォーカス可能な画像の画面における、ユーザにより指定された領域に基づいて、前記複数の再フォーカス画像の一つを選択することを特徴とする請求項４に記載の再生装置。
6. 前記処理手段は、前記複数の再フォーカス画像のそれぞれにおける前記指定された領域のコントラストに基づいて、前記複数の再フォーカス画像の一つを選択することを特徴とする請求項５に記載の再生装置。
7. 再フォーカス可能な画像を再生する再生装置の制御方法であって、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得ステップと、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記取得された音声の出力のタイミングを制御する制御ステップとを有し、
   前記制御ステップは、前記音声のサンプリング周波数を調整することにより、前記音声の出力のタイミングを制御することを特徴とする再生装置の制御方法。
8. 再フォーカス可能な画像を再生する再生装置の制御方法であって、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得ステップと、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記取得された音声の出力のタイミングを制御する制御ステップと、
   前記再フォーカス可能な画像を用いて、表示装置に出力するための画像を生成する処理ステップとを有し、
   前記処理ステップは、前記再フォーカス可能な画像を用いて、異なる再フォーカス位置の複数の再フォーカス画像を生成し、前記複数の再フォーカス画像の一つを前記表示装置に出力するための画像として選択し、
   前記制御ステップは、前記表示装置に出力するための画像の再フォーカス位置に応じて、前記音声の出力のタイミングを制御することを特徴とする再生装置の制御方法。
9. 再フォーカス可能な画像を再生する再生装置の制御方法であって、
   前記再フォーカス可能な画像に関連づけられた音声を取得する音声取得ステップと、
   前記再フォーカス可能な画像の再フォーカス位置に応じて、前記音声取得ステップにより取得された音声の指向特性を調整して出力する制御ステップと、
   前記再フォーカス可能な画像を用いて、表示装置に出力するための画像を生成する処理ステップとを有し、
   前記処理ステップは、前記再フォーカス可能な画像を用いて、異なる再フォーカス位置の複数の再フォーカス画像を生成し、前記複数の再フォーカス画像の一つを前記表示装置に出力するための画像として選択し、
   前記制御ステップは、前記表示装置に出力するための画像の再フォーカス位置に応じて、前記音声取得ステップにより取得された音声の指向特性を調整して出力することを特徴とする再生装置の制御方法。

Images