JP5765160B2

JP5765160B2 - 立体映像撮像装置

Info

Publication number: JP5765160B2
Application number: JP2011202986A
Authority: JP
Inventors: 植木　泰弘; 泰弘植木
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-09-16
Filing date: 2011-09-16
Publication date: 2015-08-19
Anticipated expiration: 2031-09-16
Also published as: JP2013066023A

Description

本発明は、複数の撮像部で被写体を撮像する立体映像撮像装置に関する。

視差を持った左目用映像と右目用映像によって視聴者に対し立体映像を知覚させる立体映像システムが脚光を浴びている。一方、複数の撮像部を有し、立体映像を撮像する機能を有するカメラも実用化され、立体映像は広く一般に浸透しつつある。表示映像を視聴者に立体映像として認識させるためには、左目用映像と右目用映像とが所定の関係を有している必要がある。左目用映像と右目用映像とが所定の関係を有していない場合、視聴者が立体と知覚できなかったり、立体と知覚できても視聴者に対して眼精疲労等の影響を与えることになる。このような課題を解決するための装置として、例えば特許文献１に開示されている立体映像撮像装置がある。

特開平８−４７００１号公報

特許文献１では、観察者の選択によって手動で、または被写体距離が所定の距離よりも近い場合に自動で撮像モードを３Ｄモードから２Ｄモードに切り換えることが記載されている。しかしながら、観察者が被写体位置等によって手動で３Ｄモードから２Ｄモードに切り換えることは煩雑、面倒である。また被写体距離によって自動的に切り換える場合、前後方向だけでなく左右それぞれの撮像部からの被写体の存在する角度方向の距離を適切に測定する必要があるが、これを実現することは難しい。

本発明では、このような課題に鑑み、撮像する被写体の状態によって適切に３Ｄモードと２Ｄモードを自動的に切り換える立体映像撮像装置を提供することを目的とする。

上記した課題を解決するために本発明は次の（ａ）の立体映像撮像装置を提供する。
（ａ）複数の撮像部（１０２Ｌ，１０２Ｒ）と、複数の撮像部で撮像した第１の映像と第２の映像から、左目用映像と右目用映像を選択する映像選択部（１０７）と、被写体を特定する被写体特定部（２０４）と、被写体が第１の映像と第２の映像のそれぞれの所定の範囲内に位置するか否か、被写体の第１の映像内と第２の映像内における移動方向および移動速度に基づいて、被写体がそれぞれの所定の範囲から外れるか否かを判定する判定部（２０４）と、を有し、映像選択部は、判定部が、被写体が第１の映像と第２の映像の所定の範囲内に位置し、被写体の第１の映像内と第２の映像内における移動方向および移動速度に基づいて、被写体が所定の範囲から外れないと判定した場合、第１の映像と第２の映像をそれぞれ左目用映像と右目用映像として選択し、被写体が第１の映像または第２の映像の一方の映像の所定の範囲内に位置し、他方の映像の所定の範囲内に位置せず、被写体の第１の映像内と第２の映像内の移動方向および移動速度に基づいて、被写体が所定の範囲から外れないと判定した場合、第１の映像と第２の映像の内、被写体の位置が所定の範囲内にある方の映像を左目用映像および右目用映像として選択し、被写体が第１の映像と第２の映像の所定の範囲内に位置し、被写体の第１の映像内または第２の映像内の移動方向および移動速度に基づいて、被写体の一方が所定の範囲から外れず、他方が所定の範囲から外れると判定した場合、第１の映像と第２の映像の内、被写体の移動方向および移動速度に基づいて、被写体が所定の範囲から外れない方の映像を左目用映像および右目用映像として選択することを特徴とする立体映像撮像装置。

更に、上記した課題を解決するために本発明は次の（ｂ）の立体映像撮像装置を提供する。
（ｂ）判定部は、映像選択部が、第１の映像を左目用映像、第２の映像を右目用映像として選択している状態で判定する場合に基準とする所定の範囲と、第１の映像または第２の映像のどちらか一方を左目用映像および右目用映像として選択している状態で判定する場合に基準とする所定の範囲とを異なる範囲とすることを特徴とする（ａ）記載の立体映像撮像装置。

本発明の立体映像撮像装置によれば、撮像する被写体の状態によって適切に３Ｄモードと２Ｄモードを自動的に切り換える。

実施形態１における立体映像撮像装置の構成を示すブロック図である。実施形態１における立体映像撮像装置の動作を説明するための図である。実施形態２における立体映像撮像装置の構成を示すブロック図である。実施形態２における立体映像撮像装置の動作を説明するための図である。

（実施形態１）
図１に、本発明の実施形態１における立体映像撮像装置の構成を示す。立体映像撮像装置１００は、左撮像部１０２Ｌ、右撮像部１０２Ｒ、被写体位置判定部１０４、フォーカス調整部１０６、映像選択部１０７、左映像処理部１０８Ｌ、右映像処理部１０８Ｒ、左右映像合成部１１０、圧縮部１１２、記録部１１４から構成される。

左撮像部１０２Ｌ、右撮像部１０２Ｒはそれぞれ撮像した映像データを被写体位置判定部１０４と映像選択部１０６に送る。被写体位置判定部１０４は、撮像信号から得られた被写体映像信号の高周波成分を抽出し、この高周波成分が最も大きくなるレンズ位置をフォーカスの最良点として検出し検出結果をフォーカス最良点信号としてフォーカス調整部１０６に送る。また、被写体位置判定部１０４は、撮像する被写体や背景が暗い場合等で撮像信号から得られた被写体映像信号の高周波成分が精度良く検出できない等の場合には、別途撮像部の周辺に配置され撮像方向に赤外線を照射し応答から被写体の距離を測定する測定部を備え、その距離測定信号をフォーカス調整部１０６に送ってもよい。このフォーカス最良点信号または距離測定信号を以下、被写体距離情報とも呼ぶ。また被写体位置判定部１０４は、本発明に係る被写体としての対象となる、例えば人の顔を検出する顔検出機能や、車のナンバープレートを検出する機能を有していて、特定の人物や特定の車のナンバープレート等を特定被写体として認識し、認識した特定被写体の撮像画面内の位置を検出する。また、検出した特定被写体の位置が、撮像画面内の所定の範囲内にあるか否かを判定し、判定結果を映像選択部１０６に送る。

映像選択部１０７は、被写体位置判定部１０４から受け取った判定結果を元に、左撮像部１０２Ｌおよび右撮像部１０２Ｒから受け取った２つの映像信号から、左映像処理部１０８Ｌと右映像処理部１０８Ｒそれぞれに出力する映像信号を選択する。具体的には、被写体位置判定部１０４が、左撮像部１０２Ｌで撮像した映像内の特定被写体の位置と右撮像部１０２Ｒで撮像した映像内の特定被写体の位置が両方とも所定の範囲内にあると判定した場合、映像選択部１０７は、左撮像部１０２Ｌから受け取った映像信号を左映像処理部１０８Ｌに送り、右撮像部１０２Ｒから受け取った映像信号を右映像処理部１０８Ｒに送る。

左映像処理部１０８Ｌは受け取った映像信号を左目用映像信号として処理し、左右映像合成部１１０に送る。右映像処理部１０８Ｒは受け取った映像信号を右目用映像信号として処理し、左右映像合成部１１０に送る。このように左撮像部と右撮像部で撮像した映像をそれぞれ左目用映像／右目用映像として処理するモードを３Ｄモードとする。

被写体位置判定部１０４が、左撮像部１０２Ｌで撮像した映像内の特定被写体の位置が所定の範囲内にあり、右撮像部１０２Ｒで撮像した映像内の特定被写体の位置が所定の範囲内にないと判定した場合、映像選択部１０７は左撮像部１０２Ｌから受け取った映像信号を左映像処理部１０８Ｌと右映像処理部１０８Ｒに送る。左映像処理部１０８Ｌは受け取った映像信号を左目用映像信号として処理し、左右映像合成部１１０に送る。右映像処理部１０８Ｒは受け取った映像信号を右目用映像信号として処理し、左右映像合成部１１０に送る。このように左撮像部または右撮像部のどちらかで撮像した映像を右目用映像と左目用映像として処理するモードを２Ｄモードとする。２Ｄモードは、３Ｄモードで表示しても観察者が映像を立体視するのが困難なほど被写体が至近距離に位置する場合に用いられ、３Ｄモードはそれ以外の場合に用いられる。

被写体位置判定部１０４が、左撮像部１０２Ｌで撮像した映像内の特定被写体の位置が所定の範囲内になく、右撮像部１０２Ｒで撮像した映像内の特定被写体の位置が所定の範囲内にあると判定した場合、映像選択部１０７は右撮像部１０２Ｒから受け取った映像信号を左映像処理部１０８Ｌおよび右映像処理部１０８Ｒに送る。この場合も２Ｄモードとなる。
左右映像合成部１１０は受け取った左目用映像信号と右目用映像信号を合成して立体映像信号を生成し、圧縮部１１２に送る。生成する立体映像信号の方式は、ラインバイライン方式や時分割方式等、視聴時の条件に応じて任意の方式とすれば良い。圧縮部１１２は受け取った立体映像信号を圧縮し、記録部１１４に送る。記録部１１４はフラッシュメモリー等の半導体メモリーやＨＤＤ等で構成され、受け取った圧縮信号を記録する。また映像撮像装置１００は、図示しないインターフェースを介して左目用映像信号と右目用映像信号を合成し、または、左目用映像信号と右目用映像信号をそれぞれ、外部に伝送する。

更に図２を用いて、被写体位置判定部１０４の判定動作を説明する。図２（ａ）は、特定被写体を左撮像部１０２Ｌと右撮像部１０２Ｒで撮像している様子を示す。丸図形は特定被写体を表わし、特定被写体は、ある時にａの位置にあり、別の時にｂの位置にある。左撮像部撮像範囲と右撮像部撮像範囲として示した範囲は、各撮像部で撮像される範囲を示す。図２（ｂ）〜（ｅ）はａまたはｂの位置にある特定被写体をそれぞれの撮像部で撮像した映像を示したものである。

図２（ｂ）はａの位置にある特定被写体を左撮像部１０２Ｌで撮像した映像を示し、図２（ｃ）はｂの位置にある特定被写体を左撮像部１０２Ｌで撮像した映像を示す。図２（ｂ）、（ｃ）の映像内の点線は、予め決めた所定の撮像範囲の境界線を模式的に示したもので、被写体位置判定部１０４は特定被写体の映像が点線の左側にあるとき、特定被写体が左撮像部の所定の撮像範囲内にあると判定する。図２（ｄ）はａの位置にある特定被写体を右撮像部で撮像した映像を示し、図２（ｅ）はｂの位置にある特定被写体を右撮像部で撮像した映像を示す。図２（ｄ）、（ｅ）の映像内の点線は、予め決めた所定の撮像範囲の境界線を模式的に示したもので、被写体位置判定部１０４は特定被写体の映像が点線の右側にあるとき、特定被写体が右撮像部の所定の撮像範囲内にあると判定する。

図２で特定被写体がａの位置にある場合、図２（ｂ）、（ｄ）から判るように、特定被写体の映像は左撮像部による撮像の所定の範囲内にも右撮像部による撮像の所定の撮像範囲内にも入っている。この時、映像選択部１０６は、図２（ｂ）で示す映像信号を左目用映像信号として左映像処理部１０８Ｌに送り、図２（ｄ）で示す映像信号を右目用映像信号として右映像処理部１０８Ｒに送る。この時、３Ｄモードとなる。
一方、図２で特定被写体がｂの位置にある場合、図２（ｃ）、（ｅ）から判るように、特定被写体の映像は左撮像部の所定の撮像範囲内に入ってなく、右撮像部の所定の撮像範囲内には入っている。この時、映像選択部１０７は、図２（ｅ）で示す映像信号を左目用映像信号として左映像処理部１０８Ｌに、右目用映像信号として右映像処理部１０８Ｒに送る。この時、２Ｄモードとなる。

以上のように、本実施時形態の立体映像撮像装置によれば、特定被写体の映像が、左右両方の映像内の所定の範囲内にある場合だけ３Ｄモードとなり、左右どちらかの映像内の所定の範囲内にない場合は２Ｄモードとなるので、視聴者が立体映像として知覚できなかったり、立体映像として知覚できても、眼精疲労等の影響を視聴者に与えるような立体映像を生成することを防ぐことができる。また、２Ｄモードとする場合に、特定被写体が映像内の所定の範囲内にある方の映像を優先的に出力するので、より良好な特定被写体映像を得ることができる。

本実施例では各撮像部で撮像した映像に所定の範囲を設定し、特定被写体の映像が所定の範囲内にあるか否かで３Ｄモードと２Ｄモードを切り換えるとしたが、３Ｄモードから２Ｄモードに切り換える時と２Ｄモードから３Ｄモードに切り換える時で基準とする特定被写体の位置は異なる位置とすることが望ましい。例えば左撮像部で撮像した映像に対しては３Ｄモードから２Ｄモードに切り換える時に基準とする特定被写体の位置に対し、２Ｄモードから３Ｄモードに切り換える時に基準とする特定被写体の位置が左側になるように設定する。右撮像部で撮像した映像に対しては３Ｄモードから２Ｄモードに切り換える時の特定被写体の基準とする位置に対し、２Ｄモードから３Ｄモードに切り換える時の特定被写体の基準とする位置が右側となるように設定する。これら基準とする位置の設定は固定値としてもよいし、ある程度ユーザーが調整できる構成としても良い。

このように、３Ｄモードから２Ｄモードに切り換える時と２Ｄモードから３Ｄモードに切り換える時で基準とする特定被写体の位置をヒステリシスを持たせて異なる位置に設定することで、特定被写体が切り換え位置付近に留まったり、切り換え位置付近で往復移動をした場合等に頻繁なモード切替を行うことによって視聴しにくい映像を生成することや頻繁な切り換えによって不要な電力を消費することを防ぐことができる。

（実施形態２）
実施形態１では、３Ｄモードと２Ｄモードの切り換えの判定基準および、２Ｄモードに切り換えた時に出力する映像を右撮像部で撮像した映像にするか左撮像部で撮像した映像にするかの選択の基準を特定被写体映像の位置によって選択した。実施形態２では、更に特定被写体の移動状態を検出して選択を行なう。

図３は実施形態２に関る立体映像撮像装置の構成を示すブロック図である。実施形態１の構成と異なるのは、図１の被写体位置判定部１０４が図３では被写体位置／移動速度判定部２０４に変わった点であり、他の構成と動作は実施形態１で説明した図１のブロック図と同じである。図中、図１と同様の動作をするブロックには同じ記号を付し、説明を省略する。被写体位置／移動速度判定部２０４は左撮像部１０２Ｌで撮像した映像と右撮像部１０２Ｒで撮像した映像それぞれについて、特定被写体の映像内の位置と移動方向および移動速度を検出し、後述する判定基準に従って、３Ｄモードとするか２Ｄモードとするか、或いは２Ｄモードとする場合に左撮像部から受け取った映像と右撮像部から受け取った映像のどちらを選択するかを決め、判定結果を映像選択部１０７に送る。

更に図４を用いて、被写体位置／移動速度判定部２０４の判定動作を説明する。
図４は図２と同様に左撮像部１０２Ｌと右撮像部１０２Ｒで特定被写体を撮像している様子を示す。特定被写体はａ，ｂ，ｃの順に移動している。図４（ｂ），（ｄ），（ｆ）はａ，ｂ，ｃの順に移動する特定被写体を左撮像部１０２Ｌで撮像した映像を示し、図４（ｃ），（ｅ），（ｇ）はａ，ｂ，ｃの順に移動する特定被写体を右撮像部１０２Ｒで撮像した映像を示す。また、映像内の点線は、図２で説明したように、予め決めた所定の撮像範囲の境界線を模式的に示したものである。

特定被写体がａ，ｂ，ｃの位置に順に移動したとき、図４（ｂ），（ｄ），（ｆ）に示すように、特定被写体の映像は左撮像部で撮像した映像内にはあるが、所定の範囲内には位置していない。右撮像部で撮像した映像では、特定被写体がａの位置にある時、図４（ｃ）に示すように特定被写体の映像は撮像範囲の中央付近に位置し、所定の範囲内にある。特定被写体がｂの位置にある時、図４（ｅ）に示すように特定被写体の映像はまだ所定の範囲内にある。特定被写体がｃの位置にある時、図４（ｆ）に示すように特定被写体の映像は撮像範囲から外れている。

実施形態１で説明した装置では、図４のａ，ｂ，ｃの位置に特定被写体がある時に、２Ｄモードとなる。また、特定被写体がａの位置からｂの位置に移動する間、右撮像部で撮像した映像を左目用映像および右目用映像として選択する。しかし、特定被写体が図４で示すような動きをした場合、右撮像部で撮像した映像ではなく、左撮像部で撮像した映像を選択した方が良いことがわかる。このように、特定被写体の移動の仕方によっては実施形態１のように特定被写体の位置だけで映像選択することには無理がある。実施形態２では特定被写体の位置だけでなく、移動状態も検出して映像の選択を行う。具体的には、時間的に前の時間の被写体の位置を記憶しておき、これとの差を求めることにより映像内の特定被写体の位置と移動の方向および速度を検出して、特定被写体が次の時間に映像から外れるか否かを判断して、外れると判断した場合には外れる方の映像を選択しない。

実施形態２では３Ｄモードと２Ｄモードの切換え時の判断にも、特定被写体の位置に加え、移動方向と移動速度を判断基準とする。具体的には、実施形態１では特定被写体の映像内の位置が所定の範囲から外れた場合に２Ｄモードとしたが、実施形態２では特定被写体の位置と移動方向と移動速度を検出して、次の時間に特定被写体の映像内の位置が所定の範囲から外れると判断した場合に、２Ｄモードとする。このことで、特定被写体が映像内の所定の範囲から外れたときには既に２Ｄモードに切り換わっているというような動作設定が可能となり、より適切に２Ｄモードへの切り換えができる。特定被写体が映像内のどの位置にある場合に３Ｄモードと２Ｄモードの切り換えを行うかは、特定被写体の移動方向と移動速度によって適宜設定すればよい。この場合、実施例１と同様に３Ｄモードから２Ｄモードに切り換える時と２Ｄモードから３Ｄモードに切り換える時で基準とする特定被写体の位置は異なる位置とすることが望ましい。また、これら基準とする位置の設定は固定値としてもよいし、ある程度ユーザーが調整できる構成としても良い。

以上のように、本実施時形態の立体映像撮像装置によれば、特定被写体の映像内の位置と移動を検出して、３Ｄモードと２Ｄモードの切換を行うので、より適切なモード切り換えができる。また、２Ｄモードとする場合に優先的に出力する映像を、特定被写体の位置と移動方向および移動速度を検出して判定するので、より良好な特定被写体映像を得ることができる。

１００、２００立体映像撮像装置
１０２Ｌ左撮像部
１０２Ｒ右撮像部
１０４被写体位置判定部
１０６フォーカス制御部
１０７映像選択部
１０８Ｌ左映像処理部
１０８Ｒ右映像処理部
１１０左右映像合成部
１１２記録部
２０４被写体位置／移動速度判定部

Claims

複数の撮像部と、
前記複数の撮像部で撮像した第１の映像と第２の映像から、左目用映像と右目用映像を選択する映像選択部と、
被写体を特定する被写体特定部と、
前記被写体が前記第１の映像と前記第２の映像のそれぞれの所定の範囲内に位置するか否か、前記被写体の前記第１の映像内と前記第２の映像内における移動方向および移動速度に基づいて、前記被写体がそれぞれの所定の範囲から外れるか否かを判定する判定部と、
を有し、
前記映像選択部は、前記判定部が、
前記被写体が前記第１の映像と前記第２の映像の所定の範囲内に位置し、前記被写体の前記第１の映像内と前記第２の映像内における移動方向および移動速度に基づいて、前記被写体が所定の範囲から外れないと判定した場合、前記第１の映像と前記第２の映像をそれぞれ前記左目用映像と前記右目用映像として選択し、
前記被写体が前記第１の映像または前記第２の映像の一方の映像の所定の範囲内に位置し、他方の映像の所定の範囲内に位置せず、前記被写体の前記第１の映像内と前記第２の映像内の移動方向および移動速度に基づいて、前記被写体が所定の範囲から外れないと判定した場合、前記第１の映像と前記第２の映像の内、前記被写体の位置が所定の範囲内にある方の映像を前記左目用映像および前記右目用映像として選択し、
前記被写体が前記第１の映像と前記第２の映像の所定の範囲内に位置し、前記被写体の前記第１の映像内または前記第２の映像内の移動方向および移動速度に基づいて、前記被写体の一方が所定の範囲から外れず、他方が所定の範囲から外れると判定した場合、前記第１の映像と前記第２の映像の内、前記被写体の移動方向および移動速度に基づいて、前記被写体が所定の範囲から外れない方の映像を前記左目用映像および前記右目用映像として選択する
ことを特徴とする立体映像撮像装置。
前記判定部は、
前記映像選択部が、
前記第１の映像を左目用映像、前記第２の映像を右目用映像として選択している状態で判定する場合に基準とする所定の範囲と、
前記第１の映像または前記第２の映像のどちらか一方を前記左目用映像および前記右目用映像として選択している状態で判定する場合に基準とする所定の範囲とを異なる範囲とすることを特徴とする
請求項１記載の立体映像撮像装置。