JP5281720B1 - 立体映像処理装置及び立体映像処理方法 - Google Patents

Abstract

立体視用の映像を取得する映像取得部（２０１）と、立体視用の映像内の一部の領域である第１領域の位置を取得する位置取得部（２０５）と、立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部（２０２）と、表示画面の大きさ及び所定の倍率に基づいて、立体視用の映像の一部である拡大表示領域の表示画面上における大きさを決定する決定部（２０３）と、立体視用の映像内の複数の第２領域であって、それぞれが第１領域を含み、かつ決定部（２０３）によって決定された大きさの前記複数の前記第２領域に含まれる処理単位それぞれの視差量が所定の範囲内である第２領域を拡大表示領域として選択する領域選択部（２０４）とを備える。

Description

本開示は、立体視用の映像を表示するための立体映像処理装置及び立体映像処理方法に関するものである。

両眼視差を有する左右の映像を独立して視聴者の左右の目に投影できる３Ｄ表示装置が知られている。

３Ｄ表示装置は、左目用に表示する左目映像と、右目用に表示する右目映像とにおいて、３Ｄ表示装置上の表示位置を水平方向にずらすことにより、立体視を実現する。このずれ（以下、視差量と称す）が適正範囲を超える場合、視聴者は、立体視を正常に行うことができない。したがって、３Ｄ表示装置は、立体視用の映像を生成する場合、この視差量が所定の範囲内に収まるように左目映像及び右目映像を生成する。

ここで、立体視用の映像のうちの一部の映像（以下、部分映像とも記載する。）を拡大して表示する場合、部分映像の視差が拡大し、拡大後は正常な立体視が不可能になる場合がある。特許文献１は、このような問題を回避するために、拡大表示領域内の視差量に応じて、拡大倍率を変化させることで正常な立体視を継続可能にする方法を開示する。

特許第４４４２１９０号公報

本開示は、拡大表示させたい位置を含む領域を、拡大倍率を変化させることなく立体視可能に拡大表示する装置を提供する。

本開示における立体映像処理装置は、表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための処理を行う立体映像処理装置であって、前記立体視用の映像を取得する映像取得部と、ユーザによって設定される前記立体視用の映像内の一部の領域であって、前記ユーザが拡大表示を希望する領域である第１領域の位置を示す拡大表示指示位置を取得する位置取得部と、前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部と、前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定部と、前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定部によって決定された大きさである前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択部とを備える。

本開示における立体映像処理装置は、視聴者が拡大表示を希望する映像領域を、拡大倍率が維持され、なおかつ視差が所定の範囲内である立体映像として拡大表示できる。

図１は、実施の形態１に係るデジタルカメラの構成を示すブロック図である。 図２は、実施の形態１に係るコントローラの詳細な構成を示すブロック図である。 図３は、実施の形態１に係るデジタルカメラの拡大表示領域の指定方法を示す模式図である。 図４は、拡大表示領域の画像サイズを説明するための図である。 図５は、拡大候補領域を説明するための図である。 図６は、実施の形態１に係るコントローラの拡大表示動作のフローチャートである。 図７は、領域選択部の拡大表示領域の選択方法を説明するための図である。 図８は、拡大表示映像が表示された液晶モニタを表す図である。 図９は、実施の形態２に係るコントローラの詳細な構成を示すブロック図である。 図１０は、実施の形態２に係るコントローラの拡大表示動作のフローチャートである。 図１１は、評価値の算出順序を説明するための拡大候補領域の模式図である。 図１２は、実施の形態２に係るコントローラの拡大表示動作の他の例を示すフローチャートである。 図１３は、立体映像処理装置の適用例を示す図である。 図１４は、立体映像処理装置の別の適用例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図８を用いて、実施の形態１を説明する。以下の実施の形態では、デジタルカメラを例として説明する。

［１−１．構成］
まずは、実施の形態１に係るデジタルカメラの構成に関して説明する。

図１は、実施の形態１に係るデジタルカメラの構成を示すブロック図である。

デジタルカメラ１００は、光学系１０１、ＣＣＤイメージセンサ１０２、映像処理部１０３、メモリ１０４、コントローラ１０５、カードスロット１０６、メモリカード１０７、操作部材１０８、ズームレバー１０９、液晶モニタ１１０、及び内部メモリ１１１を備える。

光学系１０１は、立体視用の映像を構成する左目画像及び右目画像の一方に対応する、第１視点における被写体像を形成する。また、光学系１０１は、上記左目画像及び右目画像の他方に対応する、第１視点とは異なる第２視点における被写体像を形成する。具体的には、光学系１０１は、第１の光学系及び第２の光学系の２つの光学系を有する。

なお、光学系１０１は、１つの光学系であって、ユーザが撮影位置を移動することにより異なる視点の被写体像を形成する構成でもよい。つまり、光学系１０１は、立体視用の映像に用いられる異なる２つの被写体像を形成できるものであればどのようなものでもよい。なお、光学系１０１には、ズームレンズ（図示せず）、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）（図示せず）、及びフォーカスレンズ（図示せず）が含まれる。

ＣＣＤイメージセンサ１０２は、光学系１０１で形成された被写体像を撮影して、映像信号を生成する。ＣＣＤイメージセンサ１０２は、光学系１０１から第１視点における被写体像が入力された場合、第１視点における被写体像に対応する映像信号である第１視点信号を生成する。また、ＣＣＤイメージセンサ１０２は、光学系１０１から第２視点における被写体像が入力された場合、第２視点における被写体像に対応する映像信号である第２視点信号を生成する。

なお、以下の実施の形態では、第１視点信号及び第２視点信号を合わせて立体視用の映像信号、または単に映像信号と記載する。ＣＣＤイメージセンサ１０２は、露光、転送、電子シャッタなどの各種動作を行う。

映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対して各種の処理を施し、液晶モニタ１１０に表示するための画像データを生成する。また、映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対して、メモリカード１０７に再格納するための映像信号を生成する。例えば、映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行い、メモリカード１０７に再格納するための映像信号を生成する。

また、映像処理部１０３は、光学系１０１及びＣＣＤイメージセンサ１０２で取得された第１視点信号及び第２視点信号に対して、両画像の対応する処理単位を比較することによって画像の処理単位ごとの視差量を求める。続いて、映像処理部１０３は、各視差量の出現頻度による視差ヒストグラムを算出する。さらに、映像処理部１０３は、算出したヒストグラムと、予め設定されたヒストグラムパタンとの比較を行うことによって所定の立体感を得るための撮影パラメータを決定する。

ここで、本実施の形態では、映像処理部１０３における処理単位は、立体視用の映像を４×４画素単位に区分した場合の各画素単位である。なお、上記処理単位は、８×８画素単位、１６×１６画素単位など、任意の画素数の単位であってもよい。また、視差量は、両画像の対応する処理単位の左右方向のずれを示す値であれば、どのようなものでもよい。

映像処理部１０３が求める処理単位の視差量は、処理単位中に複数の視差量が存在する場合は、複数の視差量の平均値、中央値、または複数の視差量のうちのいずれか一つを選択することで求められる。

また、映像処理部１０３は、視差量を検出する際、ブロックマッチング処理を用いる。ブロックマッチング処理は、第１視点信号における例えば４×４画素のブロックと類似するブロックを第２視点信号から探しだす処理である。映像処理部１０３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やマイコンなどで実現可能である。

なお、視差量は、符号を有する量である。例えば、ユーザから見て映像が液晶モニタ１１０の表示画面よりも奥側へ奥行を持つように表示される場合をマイナスの視差量とした場合、映像が液晶モニタ１１０の表示画面よりも手前側へ飛び出すように表示される場合はプラスの符号の視差量である。

メモリ１０４は、映像処理部１０３及びコントローラ１０５のワークメモリとして機能する。メモリ１０４には、例えば、映像処理部１０３で処理された映像信号若しくは、映像処理部１０３で処理される前のＣＣＤイメージセンサ１０２から入力される画像データが一時的に蓄積される。また、メモリ１０４には、撮影時における光学系１０１、ＣＣＤイメージセンサ１０２の撮影条件が一時的に蓄積される。ここで、撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を意味する。メモリ１０４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または強誘電体メモリなどで実現できる。

次に、コントローラ１０５（立体映像処理装置）について説明する。

コントローラ１０５は、デジタルカメラ１００全体を制御する制御手段である。コントローラ１０５は、半導体素子などで実現可能である。コントローラ１０５は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。コントローラ１０５は、マイコンなどでも実現できる。

図２は、実施の形態１に係るコントローラ１０５の詳細な構成を示すブロック図である。

コントローラ１０５は、映像取得部２０１と、視差取得部２０２と、決定部２０３と、領域選択部２０４と、位置取得部２０５とを備える。

映像取得部２０１は、メモリ１０４に格納された映像信号（立体視用の映像）を取得する。

視差取得部２０２は、映像処理部１０３が求めた立体視用の映像の処理単位ごとの視差量を取得する。

決定部２０３は、液晶モニタ１１０の表示画面の大きさ及びユーザがズームレバーから入力したズーム倍率（所定の倍率）に基づいて、立体視用の映像の一部である拡大表示領域の表示画面上における大きさを決定する。具体的には、例えば、決定部は、液晶モニタ１１０の表示画面の各辺の大きさを所定の倍率で除した大きさを拡大表示領域の大きさとして決定する。

位置取得部２０５は、ユーザが操作部材１０８を介して入力する、立体視用の映像内のユーザが拡大表示したい領域である第１領域の位置（以下、拡大表示指示位置とも記述する。）を取得する。

領域選択部２０４は、立体視用の映像の一部を拡大表示領域として選択し、拡大処理を行った映像を液晶モニタ１１０に出力する。拡大表示領域の選択方法の詳細については、後述する。

カードスロット１０６には、メモリカード１０７が着脱可能である。カードスロット１０６は、機械的及び電気的にメモリカード１０７と接続される。

メモリカード１０７は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能な記録媒体である。

操作部材１０８は、ユーザのデジタルカメラ１００への操作入力を受け付ける部材であり、例えば、操作部材１０８は、十字ボタン及び決定ボタンを備える。十字ボタンは、液晶モニタ１１０に表示される画像上の位置を指定するための指示カーソルをユーザが操作するため部材である。決定ボタンは、十字ボタンで操作された指示カーソルが示す指示位置をユーザが決定するための部材である。

ズームレバー１０９は、ユーザからの光学系１０１におけるズーム倍率の変更指示を受け付ける部材である。

液晶モニタ１１０は、第１視点信号及び第２視点信号を表示画面に２Ｄ表示、若しくは３Ｄ表示可能な表示デバイスである。ここで、上記の第１視点信号及び第２視点信号は、ＣＣＤイメージセンサ１０２で生成された映像信号またはメモリカード１０７から読み出した映像信号である。

また、液晶モニタ１１０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ１１０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

液晶モニタ１１０は、映像信号を２Ｄ表示する場合、第１視点信号及び第２視点信号のいずれか一方を選択して表示する。また、液晶モニタ１１０は、第１視点信号と、第２視点信号と、を画面分割して左右もしくは上下に表示してもよい。さらに、液晶モニタ１１０は、第１視点信号と、第２視点信号とをライン毎に交互に表示してもよい。つまり、液晶モニタ１１０は、映像信号を２Ｄ表示する場合、第１視点信号と第２視点信号とに基づく２Ｄ映像を表示する機能を有する。

液晶モニタ１１０は、映像信号を３Ｄ表示する場合、第１視点信号と、第２視点信号とをフレームシーケンシャルに表示してもよいし、第１視点信号と、第２視点信号とをオーバーレイして表示してもよい。

内部メモリ１１１には、デジタルカメラ１００全体を制御するための制御プログラム等が格納される。内部メモリ１１１は、フラッシュメモリや強誘電体メモリなどで実現される。

［１−２．動作］
以下、デジタルカメラ１００における映像信号の拡大表示動作について説明を行う。

図３は、デジタルカメラ１００の具体的構成を示す図である。

デジタルカメラ１００は、背面部にズームレバー１０９、操作部材１０８、及び液晶モニタ１１０を備える。つまり、ユーザは、液晶モニタ１１０に表示される映像を確認しながら撮影することができる構成となっている。

［１−２−１．拡大表示指示位置の指定動作］
まず、図３を参照しながら拡大表示指示位置の指定動作について説明する。

ユーザは、デジタルカメラ１００に具備されている操作部材１０８を用いて、液晶モニタ１１０に表示される拡大表示指示位置３００を指定する。具体的には、使用者は操作部材１０８を操作し、指示カーソル３０２を移動させる。ユーザは、拡大表示させたい領域である第１領域３０３の位置に指示カーソル３０２を移動させた後、操作部材１０８における決定ボタンを押下する。押下操作された時点における指示カーソル３０２の位置が拡大表示指示位置３００となる。

なお、拡大表示指示位置３００は、デジタルカメラ１００の液晶モニタ１１０がタッチセンサを具備している場合、タッチ操作によって指定されてもよい。この場合、ユーザによってタッチ操作された表示画面上の位置が拡大表示指示位置３００となる。

［１−２−２．拡大候補領域の設定動作］
次に、拡大表示領域の候補となる領域が含まれる拡大候補領域について説明する。

まず、拡大表示領域の画像サイズについて説明する。

図４は、拡大表示領域の画像サイズを説明するための図である。

拡大表示領域の画像サイズ３０１（ｘ３ピクセル×ｙ３ピクセル）は、決定部２０３が表示画面の大きさ及びズーム倍率（所定の倍率）に基づいて決定する。図４に示されるように、表示画面の大きさがｘ４ピクセル×ｙ４ピクセルであり、ズーム倍率がＭであるとした場合、拡大表示領域の画像サイズ３０１は、ｘ３＝ｘ４／Ｍピクセル、ｙ３＝ｙ４／Ｍピクセルとなる。

拡大候補領域は、当該拡大候補領域内において画像サイズ３０１の大きさの任意の領域を選択した場合に、選択した領域に必ず第１領域３０３が含まれるような領域である。第１領域は、図４で示されるように大きさがｘ５ピクセル×ｙ５ピクセルの領域である。

図５は、拡大候補領域を説明するための図である。

操作部材１０８を介して、拡大表示指示位置３００が指示された場合、領域選択部２０４は、拡大候補領域３１０を設定する。拡大候補領域３１０は、領域選択部２０４が拡大表示領域となり得る第２領域を探索する探索領域である。上述のように、領域選択部２０４が拡大候補領域内において画像サイズ３０１の大きさの任意の領域である第２領域を選択した場合、第２領域には、必ず第１領域３０３が含まれることとなる。言い換えれば、第２領域は、立体視用の映像内の領域であって、第１領域３０３が含まれ、なおかつ立体視用の映像内の決定部２０３によって決定された大きさの領域である。

ここで、拡大候補領域３１０は、上述の画像サイズ３０１と第１領域３０３の大きさとに基づいて決定される。具体的には、図５に示されるように拡大候補領域３１０の大きさがｘ２ピクセル×ｙ２ピクセルである場合、ｘ２＝２×ｘ３−ｘ５ピクセル、ｙ２＝２×ｙ３−ｙ５ピクセルである。

図５に示されるように、拡大表示指示位置３００として座標（ｘ１ピクセル、ｙ１ピクセル）が指定され、拡大候補領域３１０の大きさがｘ２ピクセル×ｙ２ピクセルに決定されたとする。このとき、領域選択部２０４は、（ｘ１−ｘ２／２、ｙ１−ｙ２／２）、（ｘ１＋ｘ２／２、ｙ１−ｙ２／２）、（ｘ１＋ｘ２／２、ｙ１＋ｙ２／２）、（ｘ１−ｘ２／２、ｙ１＋ｙ２／２）を頂点とする四角形の領域を拡大候補領域３１０として設定する。

［１−２−３．拡大表示の動作フロー］
以下、コントローラ１０５の拡大表示動作について図面を参照しながら説明する。

図６は、コントローラ１０５の拡大表示動作のフローチャートである。

まず、位置取得部２０５は、拡大表示指示位置３００を取得する（図６のＳ１０１）。拡大表示指示位置３００は、既に説明したユーザの操作によって指定される。

続いて、領域選択部２０４は、画像サイズ３０１と第１領域３０３の大きさとに基づいて、拡大候補領域３１０を決定する（図６のＳ１０２）。

次に、視差取得部２０２は、拡大候補領域３１０内の全処理単位それぞれの視差量を取得する（図６のＳ１０３）。

次に、領域選択部２０４は、拡大候補領域３１０内において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の視差量が所定の範囲内に収まる第２領域を拡大表示領域として選択する（図６のＳ１０４）。

図７は、領域選択部２０４の拡大表示領域の選択方法を説明するための図である。

拡大候補領域内において、領域選択部２０４が選択可能な第２領域は、複数存在する。

例えば、図７では、領域選択部２０４は、第２領域３０４ａ〜３０４ｅなどを選択することができる。

ここで、領域選択部２０４は、第２領域に含まれる全ての処理単位の視差量が所定の範囲内であれば、当該第２領域を拡大後にユーザが適切に立体視できる領域、すなわち拡大表示領域として選択する。図７の例では、領域選択部２０４は、第２領域３０４ｅを拡大表示領域３０５として選択する。

なお、上記所定の範囲は、ユーザが拡大された映像を適切に立体視できるように設定されればよい。例えば、拡大後の映像の視差量が、生体安全ガイドラインで定められた視差量の上限値と下限値との間に収まるように所定の範囲を設定してもよい。

最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域を拡大した映像である拡大表示映像を生成し、図８に示されるように、液晶モニタ１１０に拡大表示映像を表示（出力）する（図６のＳ１０５）。

［１−３．効果等］
以上のように、実施の形態１において、立体映像処理装置は、デジタルカメラ１００のコントローラ１０５に適用される。コントローラ１０５は、映像取得部２０１と、視差取得部２０２と、決定部２０３と、領域選択部２０４と、位置取得部２０５とを備える。ここで、立体視用の映像内のうち、ユーザが拡大表示したい領域を第１領域とする。この場合、領域選択部２０４は、立体視用の映像内のうち第１領域が含まれる領域であって、決定部２０３によって決定された複数の第２領域のうち、第２領域に含まれる視差量が所定の範囲内である特定の第２領域を拡大表示領域として選択する。

これにより、領域選択部２０４は、立体視用の映像のうちユーザが拡大表示したい領域を含んだ拡大表示領域を所定の倍率を維持して拡大表示し、なおかつ拡大表示映像をユーザが適切かつ安全に立体視可能な映像とすることができる。

なお、本実施の形態において、領域選択部２０４は、第２領域に含まれる処理単位の視差量の分散が最も小さい第２領域を拡大表示領域３０５として選択してもよい。

これにより、ユーザは、より安全な拡大表示映像を視聴することができる。

また、本実施の形態において、領域選択部２０４は、第１領域３０３に含まれる処理単位の視差量の平均値と第２領域に含まれる処理単位の視差量の平均値との差が最も小さくなるような第２領域を拡大表示領域３０５として選択してもよい。

これにより、領域選択部２０４は、ユーザが拡大表示を希望する第１領域３０３に含まれる視差量に近い視差量を有する第２領域を拡大表示領域として選択する。したがって、第１領域３０３と、その周辺領域との視差量が近いため、ユーザは、拡大表示映像を自然にかつ効果的に立体視することが可能である。

また、本実施の形態において、領域選択部２０４は、表示画面上における位置が第１領域３０３の位置から最も近い第２領域を拡大表示領域３０５として選択してもよい。ここで、第１領域３０３の位置から第２領域までの距離は、例えば、拡大表示指示位置３００から第２領域の中心位置に対応する処理単位までのユークリッド距離によって求められる。第１領域３０３の位置から第２領域までの距離は、チェス盤距離、または街区画距離で求められてもよい。

これにより、拡大表示を希望する第１領域３０３が拡大表示映像内の中央付近に表示されるため、ユーザは、第１領域３０３をより視聴しやすくなる。

なお、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、ＣＣＤイメージセンサ１０２から取得された映像に基づいて映像処理部１０３がリアルタイムに生成する視差マップから取得されてもよい。

また、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、メモリカード１０７に保存された立体映像のメタ情報から取得されてもよい。

なお、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、処理単位ごとの視差量でなくてもよい。領域選択部２０４が第２領域の最大の視差（ユーザが映像を最も奥側に知覚する部分の視差及びユーザが最も手前側に知覚する部分の視差）が所定の範囲内の視差量であるかを判断できる態様であればよい。

なお、本実施の形態では、拡大表示領域３０５のアスペクト比は、拡大前の映像のアスペクト比と同じである。

これにより、拡大表示を行った際にユーザに違和感を与えない自然な拡大表示をすることができる。

（実施の形態２）
以下、図９〜図１２を用いて実施の形態２について説明する。実施の形態２では、領域選択部が評価値を用いて拡大表示領域を選択する例について説明する。

［２−１．構成］
実施の形態２に係るデジタルカメラの全体の構成は、図１及び図３を用いて説明した構成と同様である。

図９は、実施の形態２に係るコントローラ１０５の詳細な構成を示すブロック図である。

コントローラ１０５は、実施の形態１で説明した構成要素に加えて、さらに、評価値算出部２０６を備える。

評価値算出部２０６は、処理単位ごとに評価値Ｃを算出する。評価値Ｃは、拡大表示指示位置３００に対応する処理単位の視差量を基準とした相対的な視差量の絶対値を表す第１評価値と、処理単位の拡大表示指示位置３００からの距離を表す第２評価値との和で表される。具体的には、後述するように、拡大表示指示位置３００に対応する処理単位との視差量の差が小さい処理単位ほど、評価値Ｃは、小さくなる。また、拡大表示指示位置３００からの距離が小さい処理単位ほど、評価値Ｃは、小さくなる。

［２−２．動作］
以下、実施の形態２に係るコントローラ１０５の映像信号の拡大表示動作について説明する。

図１０は、実施の形態２に係るコントローラ１０５の拡大表示動作のフローチャートである。

まず、位置取得部２０５は、拡大表示指示位置３００を取得する（図１０のＳ２０１）。

次に、視差取得部２０２は、拡大表示指示位置３００における視差量を取得する（図１０のＳ２０２）。具体的には、拡大表示指示位置３００に対応する処理単位（以下、第１処理単位とも記載する。）の視差量を取得する。

続いて、領域選択部２０４は、画像サイズ３０１と第１領域３０３の大きさとに基づいて、拡大候補領域３１０を決定する（図１０のＳ２０３）。

ここで、拡大候補領域３１０の縦の長さ（図４のｘ軸方向の長さ）ＺＨ、及び横の長さＺＷ（図４のｙ軸方向の長さ）は、例えば、液晶モニタ１１０の縦の長さＨ及び横の長さＷと、所定の倍率Ｍを用いて、次の式（１）のように表される。

式（１）より、拡大候補領域３１０の中心位置は、拡大表示指示位置３００となる。

次に、評価値算出部２０６は、拡大候補領域３１０内の全処理単位について、ステップＳ２０４〜ステップＳ２０６の動作を行い、それぞれ処理単位の評価値を算出する。

評価値算出部２０６が算出する評価値Ｃは、例えば以下の式（２）で与えられる。ここで、α及びβは、任意の定数である。

ここで、Ｄは、第１処理単位の視差量を基準とした相対的な視差量であり、（処理単位の視差量）−（拡大表示指示位置の視差量）で求められる。すなわち、α・｜Ｄ｜（第１評価値）は、視差量Ｄの大きさが小さい処理単位ほど小さい値となる。

また、Ｆは、拡大表示指示位置３００から処理単位までの距離である。すなわち、β・Ｆ（第２評価値）は、距離Ｆの大きさが小さい処理単位ほど小さい値となる。距離Ｆは、例えば、画像上のユークリッド距離でもあるが、画像上のチェス盤距離、または画像上の街区画距離でもよい。

つまり、評価値算出部２０６は、まず、各処理単位の視差量Ｄを視差取得部２０２を介して取得し（図１０のＳ２０４）、各処理単位の距離Ｆを映像取得部２０１が取得した映像信号から取得する（図１０のＳ２０５）。評価値算出部２０６は、取得した視差量Ｄ及び距離Ｆから各処理単位の評価値Ｃを式（２）に基づいて算出する（図１０のＳ２０６）。

次に、領域選択部２０４は、拡大候補領域３１０内において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の評価値Ｃの和が最も小さい第２領域を拡大表示領域３０５として選択する（図１０のＳ２０７）。領域選択部２０４が選択する拡大表示領域３０５は、例えば、以下の式（３）で与えられる。

ここで、領域選択部２０４は、評価値Ｃの和が最も小さくなる第２領域を拡大表示領域３０５として選択する。つまり、視差量Ｄが大きい処理単位を多く含む第２領域ほど、拡大表示領域３０５として選択されにくい。また、拡大表示指示位置３００から遠くに位置する第２領域ほど拡大表示領域として選択されにくい。

最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域３０５に基づいて、拡大表示領域を拡大した映像である拡大表示映像を生成し、液晶モニタ１１０に拡大表示映像を表示（出力）する（図１０のＳ２０８）。

なお、視差量Ｄが所定の値よりも大きい処理単位については、当該処理単位について非表示とする（例えば、当該処理単位を黒画とする）ことも可能である。

また、ステップＳ２０６において、評価値算出部２０６が算出する評価値Ｃは、例えば、以下の式（４）で与えられる。ここで、α、β、及びＴは、任意の定数である。

つまり、拡大表示指示位置３００と処理単位との視差量の差の絶対値が所定の閾値以上の場合、評価値Ｃは、距離Ｆに依らず大きな値となる。拡大表示指示位置３００から遠くに位置する第２領域ほど拡大表示領域に選択されにくくなるだけでなく、領域選択部２０４は、拡大表示した際の視差分布を確実に所望の範囲内に収めることができる。

また、この場合、ステップＳ２０７において、領域選択部２０４が選択する拡大表示領域３０５は、例えば、以下の式（５）で与えられる。ここで、Ｓは、任意の定数である。

つまり、評価値算出部２０６は、処理単位の評価値Ｃが所定の閾値Ｓ以上の場合に、当該処理単位を非表示とすることを示すラベル「１」を付与する。なお、処理単位の評価値Ｃが所定の閾値Ｓ未満の場合は、当該処理単位のラベルは、予め設定された「０」である。上記所定の閾値は、予め設定された閾値であるが、使用者によって変更できる構成であってもよい。

このようにすることで、使用者の立体視する際の能力に合わせて視差量Ｄの大きい処理単位の表示または非表示を設定可能なデジタルカメラ１００を実現することができる。

また、上記のように、評価値算出部２０６は、拡大候補領域３１０に含まれる全ての処理単位それぞれの評価値Ｃを求める必要はない。

以下、実施の形態２に係るコントローラ１０５の映像信号の拡大表示動作の他の動作フローについて、評価値の算出動作を中心に図面を参照しながら説明する。

図１１は、評価値Ｃの算出順序を説明するための拡大候補領域３１０の模式図である。

図１２は、実施の形態２に係るコントローラ１０５の拡大表示動作の他の例を示すフローチャートである。

なお、図１１及び図１２を用いて説明する拡大表示動作は、評価値算出部２０６は、評価値の算出に上記式（４）及び式（５）を用いる動作の一例である。

評価値算出部２０６は、指定された拡大表示指示位置３００に対応する処理単位である第１処理単位３００ａを中心に、周囲に向かって１処理単位ごとに探索範囲を広げて評価値Ｃの算出を行う。

具体的には、まず、図１１に示されるように、第１処理単位３００ａに対する画像上のチェス盤距離が１である８個の処理単位について、第１処理単位３００ａの真下に位置する処理単位３００ｂから時計回りに順番に評価値Ｃを算出する。

続いて、第１処理単位３００ａに対する画像上のチェス盤距離が２である１６個の処理単位について、処理単位３００ｃから時計回りに順番に評価値Ｃを算出する。なお、図１１の各処理単位に付されている「０」または「１」の数字は、上述の当該処理単位が表示される処理単位であるか、非表示とされる処理単位であるかを示すラベルを意味する。

以上説明したような順番で、各処理単位について図１２のステップＳ２０９、ステップＳ２０４〜Ｓ２０６、ステップＳ２１０、及びステップＳ２１１の評価値の算出が行われる。

図１２に示されるように、各処理単位について、評価値算出部２０６は、当該処理単位が拡大表示指示位置３００（第１処理単位３００ａ）から連結されているか否かを判断する（図１２のＳ２０９）。ここで、「連結されている」とは、評価値Ｃが所定の閾値Ｓ未満である１または複数の処理単位（図１１において、０と記載されている処理単位）によって第１処理単位３００ａと連結されていることを意味する。

言い換えれば、ある処理単位から、評価値Ｃが所定の閾値Ｓ未満である隣接する処理単位をたどって第１処理単位３００ａまで到達可能である（第１処理単位までの処理単位のパスが存在する）場合、当該処理単位は、第１処理単位と連結されているといえる。なお、本実施の形態では、「隣接する処理単位」とは、ある処理単位に対して、上下左右方向に隣接している処理単位のみを意味するが、「隣接する処理単位」には、対角方向に隣接する処理単位が含まれてもよい。

第１処理単位３００ａに連結された処理単位（図１２のＳ２０９でＹｅｓ）については、評価値Ｃの算出（図１２のＳ２０４〜Ｓ２０６）が行われ、処理単位の評価値Ｃが所定の閾値Ｓ以上であるか否かが判定される（図１２のＳ２１０）。処理単位の評価値Ｃが所定の閾値Ｓ以上である場合（図１２のＳ２１０でＹｅｓ）、当該処理単位には、当該処理単位を非表示とすることを示すラベル「１」が付与される。例えば、図１１では、処理単位３００ｃがラベル「１」を付与された処理単位である。

処理単位の評価値Ｃが所定の閾値Ｓ以上である場合（図１２のＳ２１０でＹｅｓ）、当該処理単位には、当該処理単位を非表示とすることを示すラベル「１」が付与される（図１２のＳ２１１）。例えば、図１１では、処理単位３００ｃがラベル「１」を付与された処理単位である。

処理単位の評価値Ｃが所定の閾値Ｓ未満である場合（図１２のＳ２１０でＮｏ）、当該処理単位のラベルは、予め設定された「０」となる。例えば、図１１では、処理単位３００ｂのラベルは、「０」である。

一方、第１処理単位３００ａに連結されていない処理単位（図１２のＳ２０９でＮｏ）については、評価値Ｃの算出（図１２のＳ２０４〜Ｓ２０６、Ｓ２１０〜Ｓ２１１）は、行われない。例えば、図１１では、処理単位３００ｄ〜３００ｈは、評価値Ｃが算出されない処理単位である。

次に、領域選択部２０４は、拡大候補領域３１０内の評価値が算出された領域において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の評価値Ｃの和が最も小さい第２領域を拡大表示領域３０５として選択する（図１２のＳ２０７）。

最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域３０５を拡大した映像である拡大表示映像を生成し、液晶モニタ１１０に拡大表示映像を表示（出力）する（図１２のＳ２０８）。

［２−３．効果等］
以上のように、実施の形態２においてコントローラ１０５（立体映像処理装置）は、さらに、評価値算出部２０６を備え、評価値算出部２０６が算出する評価値Ｃに基づいて、領域選択部２０４は、拡大表示領域を選択する。

評価値Ｃは、第１処理単位３００ａの視差量を基準とした相対的な視差量Ｄの絶対値が小さいほど小さい値となる第１評価値α・｜Ｄ｜と、第１処理単位３００ａからの距離Ｆが近い処理単位ほど小さい値となる第２評価値β・Ｆとの和である。

これにより、領域選択部２０４は、視差量Ｄと距離Ｆとの両方を考慮して、拡大表示領域３０５を選択することができる。

なお、評価値Ｃは、実施の形態２で説明したものに限定されるものではない。例えば、式（２）及び式（４）においてβは０であってもよい。βが０の場合であっても、領域選択部２０４は、拡大表示領域をユーザが適切かつ安全に立体視可能な映像として所定の倍率によって拡大表示することができる。

また、実施の形態２では、視差量Ｄとして、第１処理単位の視差量を基準とした相対的な視差量を用いたが、視差量Ｄは、絶対的な視差量であってもよい。

また、実施の形態２の評価値算出部２０６は、評価値Ｃが所定の閾値Ｓ未満である処理単位によって第１処理単位３００ａと連結された処理単位それぞれの評価値を算出する。

これにより、拡大表示領域の候補となり得ない領域については評価値Ｃの算出処理を省略し、評価値の算出コスト及び評価値算出の負荷を軽減することができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態をまとめて説明する。

実施の形態１〜２では、本開示の立体映像処理装置を図１３の（ａ）に示されるようなデジタルカメラに適用する例について説明した。しかしながら、立体映像処理装置は、例えば、図１３の（ｂ）に示されるようなデジタルビデオカメラにも適用可能である。

また、例えば、本開示の立体映像処理装置は、図１４に示されるテレビ７００にも適用可能である。この場合、テレビ放送や、図１４に示されるＢｌｕ−Ｒａｙプレーヤ７１０、及びセットトップボックス７２０から取得される映像について、立体映像処理装置は、映像の拡大表示処理を行う。

また、本開示の立体映像処理装置は、Ｂｌｕ−Ｒａｙプレーヤ７１０に適用することも可能である。この場合、挿入されたＢｌｕ−Ｒａｙディスクや、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のあらゆる記録媒体から取得した映像について、立体映像処理装置は、映像の拡大表示処理を行うことができる。

さらに、本開示の立体映像処理装置は、セットトップボックス７２０にも適用可能である。この場合、ケーブルテレビ放送等から取得した映像について、立体映像処理装置は、映像の拡大表示処理を行うことができる。

また、以下のような場合も本開示に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示に係る立体映像処理装置及び立体映像処理方法は、立体映像をユーザが安全に視聴可能なように所定の倍率で拡大表示することが可能であり、立体映像を表示するデジタルカメラ、ディスプレイなどとして有用である。

１００ デジタルカメラ
１０１ 光学系
１０２ ＣＣＤイメージセンサ
１０３ 映像処理部
１０４ メモリ
１０５ コントローラ
１０６ カードスロット
１０７ メモリカード
１０８ 操作部材
１０９ ズームレバー
１１０ 液晶モニタ
１１１ 内部メモリ
２０１ 映像取得部
２０２ 視差取得部
２０３ 決定部
２０４ 領域選択部
２０５ 位置取得部
２０６ 評価値算出部
３００ 拡大表示指示位置
３００ａ 第１処理単位
３００ｂ〜３００ｈ 処理単位
３０１ 画像サイズ
３０２ 指示カーソル
３０３ 第１領域
３０４ａ〜３０４ｅ 第２領域
３０５ 拡大表示領域
３１０ 拡大候補領域
７００ テレビ
７１０ Ｂｌｕ−Ｒａｙプレーヤ
７２０ セットトップボックス

Claims (9)

1. 表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための処理を行う立体映像処理装置であって、
   前記立体視用の映像を取得する映像取得部と、
   ユーザによって設定される前記立体視用の映像内の一部の領域であって、前記ユーザが拡大表示を希望する領域である第１領域の位置を示す拡大表示指示位置を取得する位置取得部と、
   前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部と、
   前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定部と、
   前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定部によって決定された大きさである前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択部とを備える
   立体映像処理装置。
2. 前記領域選択部は、前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量の分散が最も小さい前記第２領域を前記拡大表示領域として選択する
   請求項１に記載の立体映像処理装置。
3. 前記領域選択部は、前記第１領域に含まれる前記処理単位それぞれの視差量の平均値と前記第２領域に含まれる前記処理単位それぞれの視差量の平均値との差が最も小さくなるような前記第２領域を前記拡大表示領域として選択する
   請求項１または２に記載の立体映像処理装置。
4. 前記領域選択部は、前記複数の前記第２領域のうち、前記表示画面上における位置が前記拡大表示指示位置から最も近い前記第２領域を前記拡大表示領域として選択する
   請求項１〜３のいずれか１項に記載の立体映像処理装置。
5. 前記立体映像処理装置は、さらに、前記処理単位それぞれの評価値を算出する評価値算出部を備え、
   前記評価値は、前記処理単位の前記視差量の絶対値が小さいほど小さい値となる第１評価値と、前記処理単位の前記表示画面上における位置が前記拡大表示指示位置から近いほど小さい値となる第２評価値との和であり、
   前記領域選択部は、前記第２領域に含まれる前記処理単位の前記評価値の和が最も小さい前記第２領域を前記拡大表示領域として選択する
   請求項１に記載の立体映像処理装置。
6. 前記視差取得部は、前記処理単位のそれぞれについて、前記拡大表示指示位置を含む１つの前記処理単位である第１処理単位の視差量との差分である相対視差量を取得し、
   前記評価値は、前記処理単位の前記相対視差量の絶対値が小さいほど小さい値となる第１評価値と、前記第２評価値との和である
   請求項５に記載の立体映像処理装置。
7. 前記評価値算出部は、前記評価値が所定の閾値未満である処理単位によって前記第１処理単位と連結された前記処理単位それぞれの前記評価値を算出する
   請求項５または６に記載の立体映像処理装置。
8. 前記領域選択部は、前記立体視用の映像と同じアスペクト比の前記第２領域を前記拡大表示領域として選択する
   請求項１〜７のいずれか１項に記載の立体映像処理装置。
9. 表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための立体映像処理方法であって、
   立体視用の映像を取得する映像取得ステップと、
   ユーザによって設定される前記立体視用の映像内の一部の領域であって、前記ユーザが拡大表示を希望する領域である第１領域の位置を示す拡大表示指示位置を取得する位置取得ステップと、
   前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得ステップと、
   前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定ステップと、
   前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定ステップにおいて決定された大きさの領域である前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択ステップとを含む
   立体映像処理方法。

Images