JP5491786B2

JP5491786B2 - 画像再生装置及び方法

Info

Publication number: JP5491786B2
Application number: JP2009170251A
Authority: JP
Inventors: 康一田中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-07-21
Filing date: 2009-07-21
Publication date: 2014-05-14
Anticipated expiration: 2029-07-21
Also published as: EP2280554A2; EP2280554A3; CN101964918B; US20110018969A1; JP2011029700A; CN101964918A

Description

本発明は画像再生装置及び方法に係り、特に適切な立体感を保ったまま立体画像のデジタルズームを行うことのできる画像再生装置及び方法に関する。

視差のある２枚の画像を観察者の左右の目にそれぞれ同時に見せることにより、観察者に画像を立体視させる表示装置が知られている。このような表示装置において、左右の画像をデジタルズームで拡大ズームを行った場合、それに応じて、左右画像の表示面上における視差量が拡大される。

例えば、図１（ａ）に示すように、視差ｄａを有する右像１０１Ｒと左像１０１Ｌが立体表示面に立体表示されているとする。このとき、図２（ａ）に示すように、観察者の右眼１１０Ｒにおいて右像１０１Ｒを、観察者の左目１１０Ｌにおいて左像１０１Ｌを見ることにより、立体像１００ａが立体的に視覚される。

ここで、図１（ｂ）に示すように、図１（ａ）の領域１０３に対応する部分を拡大するようにデジタルズームを行うと、右像１０１Ｒ及び左像１０１Ｌとが１０２Ｒ及び１０２Ｌに拡大表示されるとともに、視差ｄａが視差ｄｂに拡大される。その結果、図２（ｂ）に示すように、立体像１００ｂが立体的に視覚される。

しかし、視差ｄｂの視差量が適切でないと立体像１００ｂの立体感が不自然になり、また、視差量が大きすぎると立体視ができないこともある。

このような課題に対して、特許文献１には、デジタルズーム後における立体画像の表示面上での視差量が観察者の立体像の融合限界を超えないよう、ズーム動作前の視差量とズーム倍率とに応じて、左右画像の切出し位置を変更し視差量の調整を行う装置が開示されている。

例えば、図３に示す例では、右像１０１Ｒ及び左像１０１Ｌとの視差をゼロにするように、右画像及び左画像のそれぞれの切り出し領域１０４Ｒ及び１０４Ｌを決定している。さらに、この切り出し領域１０４Ｒ、１０４Ｌをデジタルズームして得られた右像１０５Ｒ、左像１０５Ｌを立体表示することにより、立体像１００ｃを得ている。このように、元画像上で視差をもつ被写体をデジタルズームするに際して、表示画面の平面に対して過度な立体像の飛び出しがないよう、被写体の水平視差をゼロにするよう切り出し位置を調整する。上記の例では図３のごとく被写体が単一の場合について説明したが、被写体が複数ある場合については、ユーザーが選択した被写体の水平視差をゼロにするよう切り出し位置を調整する。

特許第３６５３７９０号公報

しかしながら、特許文献１に記載の装置では、ズーム倍率、被写体のもつ視差量次第では、所望の視差量を実現できない場合がある。

例えば、図４に示す例では、右像１０１Ｒ及び左像１０１Ｌとの視差をゼロにするためには、それぞれの切り出し領域１０６Ｒ及び１０６Ｌは、その一部が画像の範囲外となってしまう。この場合、例えば画像外を参照しないようにする等の特別な処理を行う必要があるが、特許文献１ではこのような対処については考えられていなかった。したがって、この場合に得られた右像１０７Ｒ、左像１０７Ｌを立体表示した立体像１００ｄは、適切な立体感が得られず、立体視ができない場合もあった。

本発明はこのような事情に鑑みてなされたもので、適切な立体感を保ったまま立体画像のデジタルズームを行うことのできる画像再生装置及び方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の画像再生装置は、視差のある左右画像を入力する画像入力手段と、前記左右画像を立体表示する表示手段と、前記左右画像の視差を調整するための視差調整量を入力する視差調整量入力手段と、前記視差調整量に基づいて、前記左右画像の水平方向のシフト量を演算するシフト量演算手段と、前記シフト量に基づいて、前記左右画像の水平方向の表示範囲を演算する表示範囲演算手段と、前記表示範囲演算手段の演算結果に基づいて、前記左右画像の水平方向をトリミングして表示する画像切り出し手段と、前記表示手段に立体表示された左右画像のデジタルズーム情報を入力するデジタルズーム情報入力手段と、前記デジタルズーム情報に基づいて、前記左右画像のそれぞれから同じ画像領域を切り出し拡大するデジタルズーム手段であって、前記左右画像のそれぞれの画像の中心と前記切り出す画像領域との中心が一致するように画像領域を切り出し拡大するデジタルズーム手段と、前記デジタルズーム情報に基づいて、前記視差調整量を修正する視差調整量修正手段とを備えたことを特徴とする。

請求項１に記載の画像再生装置によれば、デジタルズーム情報に基づいて視差調整量を修正し、修正した視差調整量に基づいて左右画像の水平方向のシフト量と表示範囲を演算し、左右画像の水平方向をトリミングして表示するようにしたので、デジタルズーム倍率に関わらず、常に適切な視差を保って立体表示させることができる。
また、切り出す領域が画像外になるという不具合を防止でき、適切に切り出し拡大することができる。さらに、適切に同じ画像領域を切り出し拡大することができる。

請求項２に示すように請求項１に記載の画像再生装置において、前記左右画像に基づいて視差調整量を算出する視差調整量算出手段を備えたことを特徴とする。

これにより、自動で視差調整量を算出することができる。

請求項３に示すように請求項２に記載の画像再生装置において、前記視差調整量算出手段は、前記左右画像の視差に基づいて前記視差調整量を算出することを特徴とする。

これにより、適切に視差調整量を算出することができる。

請求項４に示すように請求項３に記載の画像再生装置において、前記視差調整量算出手段は、前記左右画像のうち一方の画像の特徴点を抽出する特徴点抽出手段と、他方の画像の前記特徴点に対応する対応点を抽出する対応点抽出手段と、前記特徴点と前記対応点とから前記視差を算出する視差算出手段とを備えたことを特徴とする。

これにより、適切に左右画像の視差を算出することができる。

請求項５に示すように請求項４に記載の画像再生装置において、前記特徴点抽出手段は、前記左右画像のうち一方の画像から複数の特徴点を抽出し、前記対応点抽出手段は、前記他方の画像から前記複数の特徴点に対応する複数の対応点を抽出し、前記視差算出手段は、前記複数の特徴点と前記複数の対応点とに基づいて前記視差を算出することを特徴とする。

請求項６に示すように請求項１から５のいずれかに記載の画像再生装置において、前記修正された視差調整量を前記切り出し拡大された左右画像とともに記録手段に記録する手段を備えたことを特徴とする。

これにより、所望の領域を拡大した立体画像を、記録手段から読み出していつでも見ることができる。

請求項７に示すように請求項１から６のいずれかに記載の画像再生装置において、前記画像入力手段は、複数の撮像手段を用いて視差のある画像を取得する複眼撮像手段であることを特徴とする。

これにより、撮像した画像をその場でデジタルズームすることができる。

前記目的を達成するために請求項８に記載の画像再生方法は、視差のある左右画像を入力する画像入力工程と、前記左右画像を表示手段に立体表示する表示工程と、前記左右画像の視差を調整するための視差調整量を入力する視差調整量入力工程と、前記視差調整量に基づいて、前記左右画像の水平方向のシフト量を演算するシフト量演算工程と、前記シフト量に基づいて、前記左右画像の水平方向の表示範囲を演算する表示範囲演算工程と、前記表示範囲演算工程の演算結果に基づいて、前記左右画像の水平方向をトリミングして表示する画像切り出し工程と、前記表示手段に立体表示された左右画像のデジタルズーム情報を入力するデジタルズーム情報入力工程と、前記デジタルズーム情報に基づいて、前記左右画像のそれぞれから同じ画像領域を切り出し拡大するデジタルズーム工程であって、前記左右画像のそれぞれの画像の中心と前記切り出す画像領域との中心が一致するように画像領域を切り出し拡大するデジタルズーム工程と、前記デジタルズーム情報に基づいて、前記視差調整量を修正する視差調整量修正工程とを備えたことを特徴とする。

本発明によれば、視差調整による立体感の調整効果がデジタルズームを行うことで損なわれないようにすることができる。

従来のデジタルズームを示す図従来のデジタルズームの立体視の概念を示す図従来の切り出し領域を説明するための図従来の切り出し領域を説明するための図画像再生装置の全体構成を示す図視差制御部の詳細構成を示す図左右画像の視差量ｄを説明するための図左右画像のシフト量と立体画像の表示範囲を説明するための図デジタルズーム前後の表示範囲を説明するための図画像再生装置の動作を示すフローチャート画像再生装置の全体構成を示す図視差調整量演算部の詳細構成を示す図特徴点と対応点の検出を説明するための図画像再生装置の動作を示すフローチャート

以下、添付図面に従って本発明を実施するための形態について説明する。

＜第１の実施形態＞
本実施形態に係る画像再生装置１０は、入力された視差のある左右画像を表示部１７に立体表示する装置である。図５は、画像再生装置１０の全体構成を示す図である。同図に示すように、画像再生装置１０は、左右画像セレクタ制御部１１、セレクタ部１２、デジタルズーム部１３、ズーム情報入力部１４、視差調整量入力部１５、視差制御部１６及び表示部１７から構成される。

左右画像セレクタ制御部１１は、セレクタ部１２及び視差制御部１６の処理について、左画像及び右画像のうちいずれの画像の処理を行うのかを制御する。セレクタ部１２には、表示部１７に立体表示するための左画像のデータと右画像のデータとが入力され、左右画像セレクタ制御部１１からの信号に応じて、何れか一方の画像を出力する。なお、セレクタ部１２に入力される左画像及び右画像は、図示しない記録媒体から読み出された画像であってもよいし、図示しない複眼撮像手段の右撮像部と左撮像部においてそれぞれ撮像された画像であってもよい。

画像再生装置１０は、表示部１７に表示された立体画像をいわゆる電子ズームにより拡大表示を行うことが可能であり、ユーザは、ズーム情報入力部１４により所望のズーム倍率を指定することができる。

デジタルズーム部１３は、ズーム情報入力部１４から入力されたズーム倍率に応じて、左右画像のそれぞれの画像から所定の領域を切り出し、基の画像のサイズに拡大する。このとき、切り出す前の画像の中心と切り出す画像領域との中心が一致するように画像領域を切り出す。このように、左右画像の切り出し位置を画像の中心を基準とした同位置にすることで、切り出す領域が画像外になるという不具合を防止する。

視差調整量入力部１５は、ユーザが所望の視差調整量を入力するための操作部である。画像再生装置１０は、左画像と右画像とに基づいた立体画像を表示部１７に表示する際に、ユーザが視差調整量入力部１５を用いて設定した視差調整量に基づいて、ユーザーは左右の画像を見ながらあるいは立体画像を見ながら左右画像に視差を付与することが可能である。これにより、立体画像の視差をユーザが望む視差に調整することができる。

視差制御部１６は、視差調整量入力部１５から入力された視差調整量情報及びズーム情報入力部１４から入力されたズーム倍率情報に基づいて、デジタルズーム部１３から出力されたズーム画像の視差を調整し、調整した画像を表示部１７に出力する。また、視差調整後にズーム情報入力部１４によりデジタルズームの倍率が変更された場合には、すでに視差調整量入力部１５から入力されている視差調整量に基づいて、デジタルズーム前後の視差の比率が視差調整にかかわらず崩れないように視差調整量を算出する。

なお、視差制御部１６には、左右画像セレクタ制御部１１からセレクト信号が入力されるため、デジタルズーム部１３から入力されたズーム画像が左画像であるか右画像であるかを認識することができる。このように構成することで、左画像の処理と右画像の処理について、処理ブロックを共用して行うことが可能となる。

表示部１７は、視差制御部１６から入力された左右画像を立体表示することが可能な３Ｄモニタであり、例えばパララックスバリア方式やレンチキュラーレンズ方式のモニタが採用される。

図６は、視差制御部１６の詳細構成を示す図である。同図に示すように、視差制御部１６は、シフト量演算部１６１、画像シフト部１６２、表示範囲演算部１６３及び表示範囲設定部１６４から構成される。

図７、図８を用いて、図６に示す視差制御部１６の動作について説明する。ここでは、表示面上で視差ｄを持つ被写体の視差をゼロにする場合を例として説明する。

図７（ｂ）に示す左画像の左像３１Ｌと図７（ｃ）に示す右画像の右像３１Ｒとは視差量ｄを有しており、画像再生装置１０は、この２枚の画像に基づいて、図７（ａ）に示すように表示部１７に立体画像を表示する。なお、表示部１７における表示画像幅をＷ０とする。

ここで、視差調整量入力部１５から視差調整量＝−ｄが入力された場合について考える。図７（ｂ）に示す左画像と図７（ｃ）に示す右画像の視差量を−ｄだけ調整する、即ち視差量ｄをゼロにするためには、図面右方向を正方向（プラス方向）とすると、図８（ｂ）に示すように左画像を負方向（マイナス方向）にＳＬ＝ｄ／２だけ水平にシフトさせ、図８（ｃ）に示すように右画像を正方向（プラス方向）にＳＲ＝ｄ／２だけ水平にシフトさせればよい。即ち、左右画像を視差調整量の１／２ずつだけそれぞれ正負反対方向に水平シフトすればよい。ここで、視差調整量が負の場合には、左画像を負方向、右画像を正方向に水平シフトし、視差調整量が正の場合には、左画像を正方向、右画像を負方向に水平シフトする。

しかしながら、上記のように左右の画像を水平シフトさせると、左画像の左側と右画像の右側に画像データのない無効領域が発生する。（視差調整量が正の場合には、無効領域は、左画像の右側と右画像の左側に発生する。）したがって、画像再生装置１０は、画像シフト後に左右画像で共通する領域を計算し、図８（ａ）に示すように共通する部分のみ立体表示する。図８に示す例では、表示面における画像の水平幅はＷ０であるので、左右画像の共通領域ＷｃはＷ０−ｄと表される。

このように、視差制御部１６は、シフト量演算部１６１において入力された視差調整量（−ｄ）から画像の水平シフト量（ｄ／２）を演算し、画像シフト部１６２において、シフト量演算部１６１が演算したシフト量（ｄ／２）に基づいて、左右の画像を水平シフトさせる。

さらに、表示範囲演算部１６３においてシフト量（ｄ／２）に基づいて共通領域Ｗｃを算出し、表示範囲設定部１６４において、この算出した共通領域Ｗｃに基づいて画像シフト部１６２から入力された画像の水平方向をトリミングし、表示部１７へ出力する。

次に、立体画像のデジタルズームについて説明する。

図９（ａ）に示す状態から図９（ｂ）に示すように立体画像のデジタルズームを行うと、表示面上での視差量が変化する。同図に示すように、デジタルズーム前に視差量ｄ１であった場合、Ｎ倍のデジタルズームを行うと、デジタルズーム後の視差量はｄ２＝ｄ１×Ｎとなる。前述したように、このデジタルズーム後の視差量は、立体視するには適切でない可能性がある。

ここで、視差を調整することに着目する。例えば、過度の立体像の飛び出し、引っ込みを緩和するため、左右の視差をゼロにするように調整する場合を考える。

左右の視差をゼロにするために、ズーム前の視差量がｄ１である場合には、図９（ｃ）に示すように、左右の画像をｄ１／２ずつそれぞれ正負方向に水平シフトし、かつ、表示範囲をｗ−ｄ１とする。同様に、ズーム後の視差量がｄ２である場合には、図９（ｄ）に示すように、左右の画像をｄ２／２ずつそれぞれ正負方向に水平シフトしたのち、表示範囲をｗ−ｄ２とする。

以上を鑑みると、視差調整済みの立体画像のデジタルズームを行う際には、視差調整量とデジタルズーム倍率に応じて、左右画像のシフト量および表示範囲を再計算する必要があることがわかる。ここで、デジタルズーム後の水平シフト量Ｓ及びデジタルズーム後の表示範囲Ｗｃは、以下のように表される。

Ｓ＝ｄ２／２＝（ｄ１×Ｎ）／２
Ｗｃ＝Ｗ−ｄ２＝Ｗ−ｄ１×Ｎ
また、元画像に対してすでにＮ３倍のデジタルズーム、視差量ｄ３に基づいた画像シフト、表示範囲の制限をしている状態から、さらにデジタルズームを行い、元画像に対してズーム倍率Ｎ４となるような制御をする場合には、ズーム後の視差量ｄ４、水平シフト量Ｓ４及び表示範囲Ｗｃ４は以下の通りとなる。

ｄ４＝ｄ３×Ｎ４／Ｎ３
Ｓ４＝ｄ４／２＝（ｄ３×Ｎ４）／（２×Ｎ３）
Ｗｃ４＝Ｗ−ｄ４
次に、画像再生装置１０の視差調整とデジタルズームの動作について、図１０のフローチャートを用いて説明する。

最初に、左右画像の取り込みを行う（ステップＳ１）。前述したように、左右画像は記録媒体から読み出してもよいし、複眼撮像手段から取得してもよい。この入力された左右画像は、指定されたズーム倍率及び視差調整量に基づいて視差制御部１６によって所定の立体画像が生成され、表示部１７に立体表示される（ステップＳ２）。ここでは、初期値として、ズーム倍率＝１倍、視差調整量＝０が指定されているとする。

次に、ズーム情報入力部１４によるデジタルズームの指示があったか否かを判定する（ステップＳ３）。

デジタルズームの指示がない場合は、ステップＳ９へ移行し、視差調整量入力部１５による視差調整の指示があったか否かを判定する。

視差調整の指示があった場合は、視差制御部１６のシフト量演算部１６１により、指示された視差調整量に基づいた画像シフト量が算出される（ステップＳ５）。さらに、表示範囲演算部１６３により、この画像シフト量に基づいた表示範囲が算出される（ステップＳ６）。

表示範囲設定部１６４は、これらの算出結果に基づいて左右画像の水平方向をトリミングし、表示部１７へ出力する。表示部１７は、視差制御部１６の出力に基づいて、表示部１７の表示を更新する（ステップＳ７）。

このように、指示された視差調整量に視差が調整された立体画像が表示部１７に表示される。即ち、ユーザは、自分が立体視しやすい視差調整量を指示することで、適切な視差の立体画像を見ることができる。また、左右画像の共通領域だけが表示されるため、平面画像と立体画像が混合する等の、ユーザにとって違和感のある画像となることがない。

また、ステップＳ３において、デジタルズームの指示があった場合は、デジタルズーム部１３は、左右画像のそれぞれを、指示されたズーム倍率に応じて画像中心を基準として切り出し、基の画像のサイズに拡大する（ステップＳ４）。

前述のステップＳ９において指示された視差量に基づいて、立体画像の表示が更新されていることから、表示部１７の立体画像は適切な視差量に調整されている。しかし、このデジタルズーム後の立体画像の視差量は、立体視するには適切でない可能性がある。したがって、視差制御部１６のシフト量演算部１６１は、指定されたズーム倍率及び現在設定されている視差調整量に基づいて、デジタルズーム後の立体画像の適切な視差量を算出し、算出した適切な視差量に基づいて画像シフト量を算出する（ステップＳ５）。さらに、表示範囲演算部１６３により、この画像シフト量に基づいた表示範囲が算出される（ステップＳ６）。

このように、指定されたズーム倍率でデジタルズームされた立体画像が、表示部１７に表示される。この立体画像の視差量は、デジタルズーム拡大前の視差がズーム倍率に応じて拡大されたものではなく、適切な視差量に設定されている。したがって、デジタルズームを行った場合であっても、ユーザは適切な立体感を保った立体画像を見ることが可能となる。

最後に、表示を終了するか否かを判定し（ステップＳ８）、終了しない場合には、ステップＳ３に戻り、同様の処理を繰り返す。

なお、このようにデジタルズームされた画像を、図示しない記録媒体に記録してもよい。記録する場合には、切り出した（ズームされた）左右画像とともに、視差調整量の情報を記録する。視差調整量の情報は、右画像の付帯情報として記録する。なお、左画像の付帯情報として記録してもよいし、両方の画像に記録してもよい。

＜第２の実施形態＞
図１１は、第２の実施形態に係る画像再生装置２０の全体構成を示す図である。なお、図５と共通する部分には同一の符号を付し、その詳細な説明は省略する。画像再生装置２０は、視差調整量入力部１５の代わりに視差調整量演算部１８を備えているところが第１の実施形態の画像再生装置１０と異なっている。

視差調整量演算部１８は、左画像と右画像との視差に基づいて、適切な視差調整量を演算する。この視差調整量は、視差制御部１６に入力される。視差制御部１６は、図６と同様に構成されており、左右画像のシフト量及び表示範囲を算出する。

図１２は、視差調整量演算部１８の詳細構成を示す図である。同図に示すように、視差調整量演算１８は、特徴点抽出部１８１、対応点抽出部１８２、視差量検出部１８３及び調整量演算部１８４から構成される。

視差調整量を求めるには、まず左右画像に生じている視差量を検出する必要がある。視差量の検出方法は様々であるが、本実施例では、特徴点−対応点検出を使用して視差量を検出する。なお、視差量の検出方法はこれに限定されるものではなく、どのような方法を用いてもよい。

特徴点抽出部１８１は、入力された左画像の所定の領域から、複数の特徴点を抽出する。特徴点とは、複数の方向に強い信号勾配をもつ点（画素）であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いて抽出する。特徴点抽出の結果、複数の特徴点の座標値（ｘｉ、ｙｉ）(ｉは番号)が得られる。例えば、図１３（ａ）に示すように、画面中央３２から５つの特徴点３３が抽出される。なお、本実施形態では画面中央から特徴点を抽出しているが、特徴点が抽出される対象領域は画面中央に限られるものではなく、例えば画像全体から抽出してもよい。

また、対応点抽出部１８２は、特徴点抽出部１８１が抽出した各特徴点３３（ｘｉ、ｙｉ）に対応する対応点３４を右画像から検出する。対応点検出の結果、各特徴点３３に対応する対応点３４の座標値（Ｘｉ、Ｙｉ）が得られる。例えば、図１３（ｂ）に示すように、５つの特徴点３３に対応する５つの対応点３４が抽出される。

視差量検出部１８３は、抽出された各特徴点３３と各特徴点３３に対応する対応点３４とから、視差量を検出する。図１３（ｂ）に示すように、特徴点３３と対応点３４とを結ぶ線分３５の水平成分が特徴点３３の位置に生じている視差量であり、水平視差量ｄｉ＝Ｘｉ−ｘｉと表される。単位は画素である。なお、対応点３４の検出方法については、特徴点を中心としたウィンドウ内の画像情報をテンプレートとし、テンプレートマッチングする方法や、Lucas-Kanade法などがあるが、特に限定されるものではない。

さらに、視差量検出部１８３は、検出した複数の視差量ｄｉを解析して、左右画像の視差Ｄを算出する。Ｄの演算方法については、例えば単純平均する方法（Ｄ＝Σｄｉ／ｉ）、メディアン値を用いる方法、複数ある視差ｄｉのうち、最も手前であることを示すｄｉや、逆に最も遠方であることを示すｄｉをＤとする方法等が考えられるが、どの方法を用いるかは適宜決めればよい。

調整量演算部１８４は、左右画像の視差Ｄに基づいて、ユーザが立体視するのに適切な視差調整量を算出する。この視差調整量は、視差制御部１６に入力される。

次に、このように構成された画像再生装置２０の視差調整とデジタルズームの動作について、図１４のフローチャートを用いて説明する。

まず、左右画像の取り込みを行い（ステップＳ１１）、視差調整量演算部１８の視差量検出部１８３において左右画像の視差量を検出する（ステップＳ１２）。視差量の検出は、前述したように左右画像の視差Ｄを算出すればよい。調整量演算部１８４は、この視差Ｄに基づいて、視差調整量を算出する。

視差制御部１６のシフト量演算部１６１は、ズーム情報入力部１４により指示されたズーム倍率と視差調整量演算部１８により算出された視差調整量に基づいて、画像シフト量を算出し（ステップＳ１３）、さらに、表示範囲演算部１６３により表示範囲を算出する（ステップＳ１４）。

表示範囲設定部１６４は、この算出された表示範囲に基づいて左右画像の水平方向をトリミングし、表示部１７へ出力する。表示部１７には、この画像が立体表示される（ステップＳ１５）。

次に、ズーム情報入力部１４によるデジタルズームの指示があったか否かを判定する（ステップＳ１６）。

デジタルズームの指示があった場合は、デジタルズーム部１３は、指示されたズーム倍率にしたがって、左右画像の所定領域を切り出し拡大し（ステップＳ１８）、ステップＳ１３に移行する。

視差調整量演算部１８により、表示部１７の立体画像は適切な視差量に調整されている。しかし、このデジタルズーム後の立体画像の視差量は、立体視するには適切でない可能性がある。したがって、視差制御部１６のシフト量演算部１６１は、指示されたズーム倍率及び現在設定されている視差調整量に基づいて、デジタルズーム後の立体画像の適切な視差量を算出し、算出した適切な視差量に基づいて画像シフト量を算出する（ステップＳ１３）。さらに、表示範囲演算部１６３により、この画像シフト量に基づいた表示範囲が算出される（ステップＳ１４）。

その結果、表示部１７には、新たに指示されたズーム倍率の立体画像が表示される（ステップＳ１５）。この立体画像の視差量は、適切な視差量に設定されている。したがって、デジタルズームを行った場合であっても、ユーザは適切な立体感を保った立体画像を見ることが可能となる。

１０、２０…画像再生装置、１３…デジタルズーム部、１４…ズーム情報入力部、１５…視差調整量入力部、１６…視差制御部、１７…表示部、１８…視差調整量演算部、３１Ｌ…左像、３１Ｒ…右像、３２…画面中央、３３…特徴点、３４…対応点、１６１…シフト量演算部、１６２…画像シフト部、１６３…表示範囲演算部、１６４…表示範囲設定部、１８１…特徴点抽出部、１８２…対応点抽出部、１８３…視差量検出部、１８４…調整量演算部

Claims

視差のある左右画像を入力する画像入力手段と、
前記左右画像を立体表示する表示手段と、
前記左右画像の視差を調整するための視差調整量を入力する視差調整量入力手段と、
前記視差調整量に基づいて、前記左右画像の水平方向のシフト量を演算するシフト量演算手段と、
前記シフト量に基づいて、前記左右画像の水平方向の表示範囲を演算する表示範囲演算手段と、
前記表示範囲演算手段の演算結果に基づいて、前記左右画像の水平方向をトリミングして表示する画像切り出し手段と、
前記表示手段に立体表示された左右画像のデジタルズーム情報を入力するデジタルズーム情報入力手段と、
前記デジタルズーム情報に基づいて、前記左右画像のそれぞれから同じ画像領域を切り出し拡大するデジタルズーム手段であって、前記左右画像のそれぞれの画像の中心と前記切り出す画像領域との中心が一致するように画像領域を切り出し拡大するデジタルズーム手段と、
前記デジタルズーム情報に基づいて、前記視差調整量を修正する視差調整量修正手段と、
を備えたことを特徴とする画像再生装置。
前記左右画像に基づいて視差調整量を算出する視差調整量算出手段を備えたことを特徴とする請求項１に記載の画像再生装置。
前記視差調整量算出手段は、前記左右画像の視差に基づいて前記視差調整量を算出することを特徴とする請求項２に記載の画像再生装置。
前記視差調整量算出手段は、
前記左右画像のうち一方の画像の特徴点を抽出する特徴点抽出手段と、
他方の画像の前記特徴点に対応する対応点を抽出する対応点抽出手段と、
前記特徴点と前記対応点とから前記視差を算出する視差算出手段と、
を備えたことを特徴とする請求項３に記載の画像再生装置。
前記特徴点抽出手段は、前記左右画像のうち一方の画像から複数の特徴点を抽出し、
前記対応点抽出手段は、前記他方の画像から前記複数の特徴点に対応する複数の対応点を抽出し、
前記視差算出手段は、前記複数の特徴点と前記複数の対応点とに基づいて前記視差を算出することを特徴とする請求項４に記載の画像再生装置。
前記修正された視差調整量を前記切り出し拡大された左右画像とともに記録手段に記録する手段を備えたことを特徴とする請求項１から５のいずれかに記載の画像再生装置。
前記画像入力手段は、複数の撮像手段を用いて視差のある画像を取得する複眼撮像手段であることを特徴とする請求項１から６のいずれかに記載の画像再生装置。
視差のある左右画像を入力する画像入力工程と、
前記左右画像を表示手段に立体表示する表示工程と、
前記左右画像の視差を調整するための視差調整量を入力する視差調整量入力工程と、
前記視差調整量に基づいて、前記左右画像の水平方向のシフト量を演算するシフト量演算工程と、
前記シフト量に基づいて、前記左右画像の水平方向の表示範囲を演算する表示範囲演算工程と、
前記表示範囲演算工程の演算結果に基づいて、前記左右画像の水平方向をトリミングして表示する画像切り出し工程と、
前記表示手段に立体表示された左右画像のデジタルズーム情報を入力するデジタルズーム情報入力工程と、
前記デジタルズーム情報に基づいて、前記左右画像のそれぞれから同じ画像領域を切り出し拡大するデジタルズーム工程であって、前記左右画像のそれぞれの画像の中心と前記切り出す画像領域との中心が一致するように画像領域を切り出し拡大するデジタルズーム工程と、
前記デジタルズーム情報に基づいて、前記視差調整量を修正する視差調整量修正工程と、
を備えたことを特徴とする画像再生方法。