WO2011162037A1

WO2011162037A1 - 立体画像再生装置、立体画像再生システム及び立体画像再生方法

Info

Publication number: WO2011162037A1
Application number: PCT/JP2011/060930
Authority: WO
Inventors: 広大藤田
Original assignee: 富士フイルム株式会社
Priority date: 2010-06-25
Filing date: 2011-05-12
Publication date: 2011-12-29
Also published as: CN102959973A; CN102959973B; US8866881B2; US20130094833A1; JP5546633B2; JPWO2011162037A1

Abstract

左右画像の視差が適切でない場合であっても、立体視による健康への影響を事前に防止する。カメラとテレビを接続し（ステップＳ１）、カメラからテレビサイズを入力する（ステップＳ２）。入力されたテレビサイズに基づいて視差調整量ｖを生成し（ステップＳ３）、左右画像データと視差調整量ｖをテレビに送信する（ステップＳ４）。これを受信したテレビは（ステップＳ１０１）、左右画像の視差を視差調整量ｖで調整し（ステップＳ１０２）、左右画像内の被写体のうち最も視差が大きい被写体を含む領域を切り出して、カメラの表示部のサイズで小画面表示させる（ステップＳ１０３）。ユーザが小画面表示された画像を確認し（ステップＳ５）、問題が無ければテレビサイズ全体に３Ｄ表示される（ステップＳ１０４）。

Description

立体画像再生装置、立体画像再生システム及び立体画像再生方法

　本発明は立体画像再生装置、立体画像再生システム及び立体画像再生方法に係り、特に、立体視における健康への影響を事前に防止する技術に関する。

　立体撮像装置は、左右に視差をもって並べられた２つの撮像部を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得している。この左右の画像が、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。

　ところが、３Ｄディスプレイには様々な画面サイズ（ディスプレイサイズ）のものが存在し、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする３Ｄディスプレイのディスプレイサイズに対して適切でない場合もある。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。

　このような課題に対し、特許文献１には、画像ファイルのヘッダ情報から取得した想定ディスプレイサイズと実際に表示を行うディスプレイサイズを比較し、実際のディスプレイサイズの方が大きい場合には、想定表示サイズで表示するとともに警告を行った上で、実際のディスプレイサイズで拡大表示する技術が記載されている。

　この技術によれば、視差の拡大による眼精疲労を事前に防止することができる。

特開２００４－３３４８３３号公報

　しかしながら、特許文献１に記載の技術では、実際に表示を行う３Ｄディスプレイのディスプレイサイズに応じた視差調整量を設定することはできない。即ち、警告後に拡大表示される左右画像の視差量は、画像ファイルに記録された左右画像の有する視差量が画像の拡大率に応じて拡大されたものであり、拡大表示された左右画像が立体視可能である保証は無い。

　このような問題点を解決するために、表示を行う３Ｄディスプレイのディスプレイサイズを、ユーザが再生器側から入力することが考えられる。この場合、再生器は、入力されたディスプレイサイズに応じて左右画像の視差調整量を算出し、算出した視差調整量を左右画像データとともに３Ｄディスプレイに送信する。これらを受信した３Ｄディスプレイは、左右画像の視差を視差調整量に基づいて調整してから立体表示させればよい。

　ここで、左右画像のずれ量をＸ、画像の横幅をＹとしたときの視差量をＸ／Ｙと定義する。奥行き側の視差量が５％の画像を、アスペクト比が４：３の１００インチの３Ｄディスプレイに表示する場合、３Ｄディスプレイの表示部の横幅は約２０００ｍｍであるから、左右画像のずれ量は２０００ｍｍに対する５％の１００ｍｍとなる。

　人間の両眼間隔を５０ｍｍとすると、奥行き側に１００ｍｍのずれ量を持つ左右画像を立体視すると左右の目が外側を向いてしまうため、１００ｍｍ－５０ｍｍ＝５０ｍｍの視差調整量が必要となる。したがって、ユーザが３Ｄディスプレイのディスプレイサイズを１００インチと入力した場合、この画像の視差調整量は５０ｍｍとなる。

　これに対し、この画像をアスペクト比が４：３の５０インチの３Ｄディスプレイに表示する場合、表示部の横幅は約１０００ｍｍであるから、左右画像のずれ量は１０００ｍｍに対する５％の５０ｍｍとなる。即ち、この画像を５０インチの３Ｄディスプレイに表示する場合であれば、視差調整は不要である。したがって、ユーザが３Ｄディスプレイのディスプレイサイズを５０インチと入力した場合、この画像の視差調整量は０ｍｍとなる。

　しかしながら、ユーザが３Ｄディスプレイのディスプレイサイズを誤入力してしまうと、誤入力されたディスプレイサイズに基づいて視差調整量を算出してしまうため、左右画像のずれ量が両眼間隔を超えてしまう場合がある。例えば、視差量が５％の画像を表示させる際に、実際の３Ｄディスプレイのディスプレイサイズが１００インチであるにもかかわらず、ユーザが５０インチと誤入力した場合について考える。

　この場合には、再生器では視差調整量を０ｍｍと算出する。そして、視差調整量０ｍｍで１００インチのディスプレイに表示される結果、左右画像のずれ量が１００ｍｍとなる。この左右画像のずれ量は両眼間隔を超えているため、立体視すると左右の目が外側を向き、その結果目に負担がかかり、健康への影響が発生する結果となる。

　本発明はこのような事情に鑑みてなされたもので、左右画像の視差が適切でない場合であっても、立体視による健康への影響を事前に防止することができる立体画像再生装置、立体画像再生システム及び立体画像再生方法を提供することを目的とする。

　前記目的を達成するために本発明の第１態様の立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かを判断する判断部と、前記判断部において立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、を備えた。

　第１態様によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいて視差調整量を生成し、視差調整量に基づいて視差が調整された立体画像をディスプレイサイズよりも小さいサイズで小画面表示させ、立体視に関する問題の有無を選択させるようにしたので、左右画像の視差が適切でない場合であっても、小画面表示により事前に健康への影響を防止することができる。

　また、視差が適切な場合には、ディスプレイサイズで立体画像を表示するので、ユーザは適切な視差の左右画像を立体視することができる。

　本発明の第２態様は第１態様の立体画像再生装置において、前記判断部は、立体感が適切であるか否かをユーザに選択させる選択部を備えた。

　これにより、立体感が適切であるか否かを適切に判断することができる。

　本発明の第３態様は第１態様又は第２態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に立体画像以外を表示させる。

　これにより、健康への影響を防止することができる。

　本発明の第４態様は第３態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に前記立体画像のデータに基づく平面画像を表示させる。

　これにより、健康への影響を防止することができる。

　本発明の第５態様は第３態様又は第４態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、警告を表示させる。

　これにより、立体感が適切でないことをユーザが知ることができる。

　前記目的を達成するために本発明の第６態様の立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成部と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させる画像選択部と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。

　第６態様によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいてそれぞれ異なる複数の視差調整量を生成し、複数の視差調整量に基づいて視差が調整された複数の立体画像を小画面表示させ、小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させるようにしたので、左右画像の視差が適切な画像を選択して立体視することができる。

　本発明の第７態様に示すように第６態様の立体画像再生装置において、前記表示制御部は、前記小画面表示された複数の画像の中に立体感が適切な立体画像が存在しない場合に前記立体画像表示装置に立体画像以外を表示させる。

　これにより、健康への影響を防止することができる。

　前記目的を達成するために本発明の第８態様の立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正部と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。

　第８態様の発明によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいて、立体画像の視差を調整するための視差調整量を生成し、視差調整量に基づいて視差が調整された立体画像を小画面表示させ、小画面表示された画像に基づいてユーザに視差調整量を修正させるようにしたので、左右画像の視差を適切な視差に調整して立体視することができる。

　本発明の第９態様は第８態様の立体画像再生装置において、前記修正部は、予め定められた閾値以上の修正を制限する制限部を備えた。

　これにより、視差が大きくなりすぎることを防止することができるので、健康への影響を防止することができる。

　本発明の第１０態様は第９態様の立体画像再生装置において、前記表示制御部は、前記修正部の修正量が前記予め定められた閾値に達すると前記立体画像表示装置に警告を表示させる。

　これにより、ユーザは視差調整において視差が大きくなりすぎたことを知ることができる。

　本発明の第１１態様は第１態様から第１０態様のいずれかの立体画像再生装置において、前記ディスプレイサイズ取得部は、ユーザに前記ディスプレイサイズを入力させる入力部を備えた。

　本発明の第１２態様は第１態様から第１１態様のいずれかの立体画像再生装置において、立体画像を再生表示可能な表示部を備え、前記小画面表示部が小画面表示させる前記立体画像表示装置のディスプレイサイズよりも小さいサイズは、前記表示部のサイズと同じサイズである。

　これにより、小画面表示の画像の視差が適切か否かを容易に判断することができる。

　本発明の第１３態様は第１態様から第１２態様のいずれかの立体画像再生装置において、前記立体画像表示装置のディスプレイサイズと視差調整量との関係を示す参照マップを備え、前記視差調整量生成部は、前記参照マップに基づいて視差調整量を生成する。

　これにより、適切に視差調整量を生成することができる。

　本発明の第１４態様は第１態様から第１３態様のいずれかの立体画像再生装置において、前記立体画像中の被写体を解析する画像解析部を備え、前記視差調整量生成部は、前記画像解析部の解析結果に基づいて前記視差調整量を生成する。

　これにより、画像中の被写体に応じて適切に視差調整量を生成することができる。

　本発明の第１５態様は第１４態様の立体画像再生装置において、前記画像解析部は、被写体の画像奥行き方向の距離情報を解析する。

　これにより、画像中の被写体の奥行き方向の距離に応じて適切に視差調整量を生成することができる。

　本発明の第１６態様は第１５態様の立体画像再生装置において、前記小画面表示部は、前記立体画像から前記最も奥側に位置する注視物体を含む領域を切り出して前記立体画像表示装置に小画面表示させる。

　これにより、左右画像の視差が適切か否かを判定することができる。

　本発明の第１７態様は第１態様から第１６態様のいずれかの立体画像再生装置において、前記取得部は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像部を備えた。

　これにより、撮影した画像をリアルタイムに立体視することができる。

　前記目的を達成するために本発明の第１８態様の立体画像再生システムは、所定のサイズの３Ｄディスプレイを備えた立体画像表示装置と、第１態様から第１７態様のいずれかに記載の立体画像再生装置とを備えた。

　前記目的を達成するために本発明の第１９態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された立体画像に基づいて、当該立体の立体感が適切であるか否かを判断する判断工程と、前記判断工程において立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。

　前記目的を達成するために本発明の第２０態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成工程と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された複数の画像から、ユーザに最も立体視に適した立体画像を選択させる画像選択工程と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。

　前記目的を達成するために本発明の第２１態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正工程と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。

　本発明によれば、左右画像の視差が適切でない場合であっても、立体視による健康への影響を事前に防止することができる。

立体画像再生システムの外観図立体画像再生システムの電気的構成を示すブロック図第１の実施形態の画像再生に係るフローチャート視差の調整を説明するための図小画面表示を説明するための図第２の実施形態の画像再生に係るフローチャート第３の実施形態の画像再生に係るフローチャート第４の実施形態の画像再生に係るフローチャートテレビサイズと視差調整量との関係を示した参照マップを示す図第５の実施形態の画像再生に係るフローチャート

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　［立体画像再生システムの構成］
　図１は、本実施の形態に係る立体画像再生システム１０の外観を示す図である。同図に示すように、立体画像再生システム１０は、表示部３２を有する３Ｄデジタルカメラ２０（以下、カメラ２０と呼ぶ）と、表示部６１を有する３Ｄテレビ６０（以下、テレビ６０と呼ぶ）とから構成され、カメラ２０とテレビ６０は、ケーブル５０で接続されている。

　図２は、立体画像再生システム１０の電気的構成を示すブロック図である。

　同図に示すように、カメラ２０は、ＣＣＤ２１、画像処理部２２、出力インターフェース２３、ＣＰＵ２４、操作部２５、ＲＯＭ２６、視差算出部３０等から構成されている。また、テレビ６０は、表示部６１、視差調整部６３、入力インターフェース６４等から構成されている。

　カメラ２０のＣＰＵ２４は、ＲＯＭ２６に記録された制御プログラムに基づいて、カメラ２０全体の動作を統括制御する。

　ＣＣＤ２１は、ユーザによる操作部２５からの撮影指示に基づいて、左右に配置された図示しない撮影レンズを介して受光した被写体像から、左右画像を取得する。ＣＣＤ２１から出力されたアナログの画像信号は画像処理部２２においてデジタル信号化され、画像メモリ２９に記憶される。

　視差算出部３０は、操作部２５から入力されたディスプレイサイズ（テレビサイズ）情報に基づいて、画像メモリ２９に記憶されている左右画像の視差調整量を算出する。

　画像メモリ２９に記憶されている左右画像は、表示コントローラ３１を介して表示部３２に表示することができる。表示部３２は、パララックスバリア方式やレンチキュラー方式の３Ｄ表示部であり、コントローラ３１を介して入力された左右画像が、所定の視差で３Ｄ表示される。また、ユーザが操作部２５を操作する際におけるユーザインターフェースとしても用いられる。

　また、画像メモリ２９に記憶されている左右画像を、出力インターフェース２３からケーブル５０を介してテレビ６０に出力することができる。このとき、視差算出部３０において算出された左右画像の視差調整量も同時に出力される。

　なお、画像メモリ２９に記憶されている左右画像は、メモリインターフェース２７により外部メモリ２８に記録することも可能である。外部メモリ２８としては、メモリカード等の着脱可能な記録媒体が用いられる。

　また逆に、外部メモリ２８に記録された左右画像をメモリインターフェース２７を介して読み出し、画像メモリ２９に記憶することも可能である。このように、カメラ２０は、ＣＣＤ２１により撮影した画像や外部メモリ２８から読み出した画像を、表示部３２に表示可能であるとともに、テレビ６０に出力可能に構成されている。

　カメラ２０から出力された左右画像と視差調整量は、入力インターフェース６４を介してテレビ６０に入力される。カメラ２０とテレビ６０との通信手段は特に限定されないが、例えばＨＤＭＩ（High Definition Multimedia Interface）規格に準じたインターフェース等を用いることが考えられる。また、有線ではなく、無線で通信を行うように構成してもよい。

　視差調整部６３は、入力された視差調整量に基づいて左右画像の視差を調整する。視差が調整された左右画像は、コントローラ６２を介して表示部６１に出力される。

　表示部６１は、カメラ２０の表示部３２と同様にパララックスバリア方式やレンチキュラー方式の３Ｄ表示部であり、入力された左右画像を立体視可能に表示する。したがって、ユーザはカメラ２０から出力した左右画像を表示部６１において立体視することが可能となる。なお、表示部６１は、偏光眼鏡等を用いて立体視させる方式であってもよい。

　このように、カメラ２０は、出力インターフェース２３に接続したディスプレイ（テレビ）の表示部に左右画像を再生表示させることが可能であり、様々なテレビサイズのテレビに接続可能である。カメラ２０は、接続されたテレビのテレビサイズに適した立体視が可能となるように、ユーザにテレビのテレビサイズを入力させ、入力されたテレビサイズに応じて視差調整量を算出し、左右画像とともに接続されたテレビに出力する。

　［第１の実施形態］
　図３は、画像再生システム１０の第１の実施形態の画像再生に係るフローチャートである。

　最初に、カメラ２０とテレビ６０とを接続する（ステップＳ１）。前述したように、ここではケーブル５０を用いて通信可能に接続している。

　次に、カメラ２０の操作部２５を用いて、カメラ２０に接続したテレビ６０のテレビサイズ、即ち表示部６１のサイズを入力する（ステップＳ２）。テレビサイズの入力は、表示部３２に一覧表示したサイズから選択させるようにしてもよいし、表示部６１の横幅や対角線の長さの数値を直接入力させるようにしてもよい。

　視差算出部３０は、ステップＳ２で入力されたテレビサイズに基づいて、左右画像の視差調整量ｖを生成する（ステップＳ３）。視差調整量ｖは、テレビサイズと視差調整量との関係を示したテーブルを予めＲＯＭ２６に記録しておき、視差算出部３０がこのテーブルを参照して決定してもよい。

　また、視差算出部３０は、左右画像について画像の解析を行い、所定の被写体であり、かつ視差が最も大きい被写体を抽出する。このとき、視差が大きい被写体であっても、カメラ２０との距離が近すぎて、適切な立体視ができない被写体については除外する。

　具体的には、まず、画像からユーザが注視する可能性がある物体を抽出する。例えば、高周波成分や、人物の顔を抽出する。さらに、抽出した物体の画像奥行き方向の距離情報を解析する。この画像解析結果に基づいて、最も視差量が大きい物体、例えば画像奥行き方向の最も奥側に位置する物体を抽出する。

　ＣＰＵ２４は、左右画像のそれぞれの画像から、最も視差が大きい被写体を含む領域を切り出した切り出し画像を生成する。

　なお、抽出された最も視差が大きい被写体が、切り出し領域より大きい場合には、必ずしもその被写体を含むように切り出し領域を設定するのではなく、切り出し領域のサイズの上限を予め決めておき、その上限を超えない範囲で対象被写体を中心とした切り出し領域を設定すればよい。

　この生成した視差調整量ｖ及び左右切り出し画像データを、ユーザが立体視を行う左右画像データとともにテレビ６０に送信する（ステップＳ４）。

　テレビ６０では、カメラ２０から送信された視差調整量ｖ、左右切り出し画像データ、及び左右画像データを受信し（ステップＳ１０１）、視差調整部６３が左右切り出し画像の視差を視差調整量ｖに応じて調整する（ステップＳ１０２）。

　ここで、視差の調整について説明する。図４の（ａ）は左右画像の左画像（左目で視認するための画像）、図４の（ｂ）は右画像（右目で視認するための画像）を示している。この左右画像は、カメラ２０の表示部３２に表示して立体視させる場合に適した視差を有しているが、テレビ６０の表示部６１に表示して立体視させる場合には、奥行き側の視差が大きすぎて両目が外側に広がってしまう可能性がある。したがって、視差算出部３０は、奥行き側の視差を弱めるための視差調整量ｖを算出し、視差調整部６３は、視差調整量ｖだけ左右画像を水平方向に平行移動させて視差の調整をする。

　図４の（ｃ）は、図４の（ｂ）に示した右画像を視差調整量ｖだけ左方向へ水平移動させた図である。図４の（ａ）に示す左画像と図４の（ｃ）に示す視差調整後の右画像を表示することで、奥行き側の視差を弱めた立体表示となる。

　ここでは、右画像を視差調整量ｖだけ左方向へ水平移動させたが、左画像を視差調整量ｖだけ右方向へ水平移動させてもよいし、右画像をｖ／２だけ左方向へ、かつ左画像をｖ／２だけ右方向へ水平移動させてもよい。

　上記のように視差調整した左右切り出し画像を、図５の（ａ）に示すように、表示部６１の画面全体ではなく、その一部に小さいサイズの画像１０１として立体視可能に表示する（ステップＳ１０３）。即ち、表示部６１の画面全体に表示する場合に適した視差を持つ左右画像について、最も視差が大きい被写体を含む領域だけを表示することになる。なお、画像１０１を表示する位置は、表示部６１のどの位置でもよく、適宜決めればよい。

　ステップＳ２において、テレビサイズの誤入力があった場合には、視差調整量ｖが適切でなく、立体視に適さない表示となる可能性がある。したがって、表示部６１の画面全体に表示を行うのではなく、左右画像の視差が適切か否かを確認するために、左右の切り出し画像を立体表示（小画面表示）する。視差が適切でなく、両目が外側を向いてしまう場合であっても、小画面表示であれば、健康への影響が小さいからである。

　なお、小画面表示の画像サイズは、カメラ２０の表示部３２のサイズと同等以上であり、かつテレビ６０の表示部６１のサイズの１／３以下であることが好ましい。より望ましくは、カメラ２０の表示部３２のサイズと同じであることが好ましい。カメラ２０の表示部３２のサイズであれば、ユーザは画像を確認する際に違和感が無く、視差が適切か否かの判断が容易になる。

　さらに、小画面表示された被写体（最も視差が大きい被写体）の大きさが、左右画像全体が表示部６１全体に表示された場合の被写体の大きさと同じ大きさとなるように、切り出し領域の範囲と小画面表示サイズが決定されることが好ましい。

　また、図５の（ｂ）に示すように、立体視可能な切り出し画像１０１とともに、左右画像のいずれかの画像を表示部６１全体に２Ｄ表示させてもよい。このように表示させることで、ユーザは、小画面表示された画像１０１の被写体（最も視差の大きい被写体）の画像全体における位置を知ることができる。さらに、画像全体が表示部６１に３Ｄ表示されたときのイメージを知ることができる。

　ユーザは、この立体視可能に小画面表示された切り出し画像を確認し、カメラ２０の操作部２５により表示画像の立体視に関する問題の有無、即ち立体視可能な視差であるか否かを入力する（ステップＳ５）。

　ここで、問題が無いと入力された場合、即ち立体視可能な視差である場合には、ＣＰＵ２４からテレビ６０に左右画像の全体について３Ｄ表示を行うように指示する。逆に、問題があると入力された場合、即ち立体視に適さない視差である場合には、ＣＰＵ２４からテレビ６０に画像全体について２Ｄ表示を行うように指示する（ステップＳ６、７）。この指示を受けたテレビ６０のコントローラ６２は、図５の（ｃ）に示すように表示部６１の画面全体に、指示にしたがって３Ｄ表示又は２Ｄ表示を行う（ステップＳ１０４）。

　なお、２Ｄ表示をする際には、左画像を表示してもよいし、右画像を表示してもよい。また、画像とともに「３Ｄ表示できません」等の文字を表示して警告してもよいし、文字のみを表示してもよい。ステップＳ５において問題があると入力された場合には、ステップＳ２に戻り、テレビサイズの入力を再度行うように構成してもよい。

　以上のように、テレビサイズを入力後、テレビのディスプレイ全体に画像全体を表示するのではなく、カメラのディスプレイサイズ等で確認用の切り出し画像を表示するようにしたので、ユーザがディスプレイサイズを誤入力した場合であっても、事前に健康への影響を防止することができる。また、視差が適切と判断した場合には、テレビのディスプレイ全体に画像全体について３Ｄ表示を行うので、ユーザは所望の画像を立体視することができる。

　また、確認用画像のサイズをカメラのディスプレイサイズとすることで、ユーザは違和感なく視差が適切か否かを確認することができる。

　［第２の実施形態］
　図６は、画像再生システム１０の第２の実施形態の画像再生に係るフローチャートである。なお、図３のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　本実施形態では、視差算出部３０は、入力されたテレビサイズに基づいて、左右画像の視差調整量について、ｖ１、ｖ２、ｖ３の３つの値を生成する（ステップＳ１３）。例えば、ｖ２については第１の実施形態の視差調整量ｖと同様の標準的な値とし、ｖ１＜ｖ２＜ｖ３となるようにｖ１、ｖ３を生成する。第１の実施形態で説明したように、視差調整量ｖ１～ｖ３は、テレビサイズと視差調整量との関係を示したテーブルから参照して決定するようにしてもよい。

　また、視差算出部３０は、第１の実施形態と同様に、左右画像について画像の解析を行い、最も視差量が大きい被写体を抽出し、この被写体を含む領域を切り出した切り出し画像を生成する。

　カメラ２０は、この生成した視差調整量ｖ１～ｖ３及び左右の切り出し画像を、ユーザが立体視を行う左右画像データとともにテレビ６０に送信し（ステップＳ１４）、テレビ６０はこれらを受信する（ステップＳ１１１）。

　視差調整部６３は、左右の切り出し画像の視差を視差調整量ｖ１～ｖ３に応じて調整する（ステップＳ１１２）。即ち、視差調整量ｖ１で視差を調整した左右の切り出し画像、視差調整量ｖ２で視差を調整した左右の切り出し画像、及び視差調整量ｖ３で視差を調整した左右の切り出し画像の３種類の立体画像を生成する。視差の調整は、第１の実施形態で説明したように、左右画像を水平方向に平行移動させることで行えばよい。

　次に、この３種類の切り出し画像を、図５の(d)に示すように、表示部６１の一部に画像１０１ａ～１０１ｃとして小画面表示する（ステップＳ１１３）。即ち、視差調整量ｖ１で視差を調整した左右の切り出し画像を１０１ａ、視差調整量ｖ２で視差を調整した左右の切り出し画像を１０１ｂ、及び視差調整量ｖ３で視差を調整した左右の切り出し画像を１０１ｃとしてそれぞれ立体視可能に小画面表示する。

　なお、画像１０１ａ～１０１ｃを表示する位置は、表示部６１のどの位置でもよく、適宜決めればよい。また、表示部６１の画面全体に、左右画像のいずれかの画像を２Ｄ表示させてもよい。

　第１の実施形態と同様に、ステップＳ２においてテレビサイズの誤入力があった場合には、視差調整量ｖが適切でなく、立体視に適さない表示となる可能性がある。そこで、３種類の視差調整量ｖ１～ｖ３を生成し、それぞれの視差調整量で視差を調整した３種類の左右の切り出し画像を小サイズの画像として表示することで、視差の適した画像をユーザが選択することができる。視差が適切でなく、両目が外側を向いてしまう左右画像が含まれている場合であっても、小画面表示された画像であれば、健康への影響が小さい。

　第１の実施形態と同様に、画像１０１ａ～１０１ｃの画像サイズは、カメラ２０の表示部３２のディスプレイサイズと同じであることが好ましい。

　ユーザは、この３種類の画像を確認し、カメラ２０の操作部２５を用いて最も視差が適当な画像を選択する（ステップＳ１５）。

　ＣＰＵ２４は、選択された画像の情報をテレビ６０に送信し、これを受信したテレビ６０のコントローラ６２は、図５の（ｃ）に示すように、選択された画像の視差量を用いて、表示部６１の画面全体に左右画像の全体を３Ｄ表示する（ステップＳ１０４）。

　なお、画像１０１ａ～１０１ｃのいずれの画像も視差が適切でない場合には、操作部２５からその旨を入力することにより、表示部６１に２Ｄ表示されるように構成してもよい。

　以上のように、テレビサイズを入力後、複数種類の視差調整量で左右の切り出し画像の視差を調整し、カメラのディスプレイサイズで選択可能に複数の確認用画像を立体視可能に表示したので、ユーザがディスプレイサイズを誤入力した場合であっても、適切な視差の画像を選択することができる。

　ここでは、３種類の視差調整量ｖ１～ｖ３を生成し、視差調整量ｖ１～ｖ３に基づいて３種類の画像１０１ａ～１０１ｃを小画面表示して選択させたが、選択可能な画像の数は２種類でも、４種類以上でも構わない。

　［第３の実施形態］
　図７は、画像再生システム１０の第３の実施形態の画像再生に係るフローチャートである。なお、図３のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　本実施形態は、視差調整量ｖの切り出し画像を画像１０１として表示部６１に小画面表示するところまでは、第１の実施形態と同様である（～ステップＳ１０３）。

　ここで、ユーザがこの小画面表示された画像１０１を確認した結果、視差の調整が必要と考えた場合に（ステップＳ２５）、小画面表示された画像１０１を確認しながら視差を調整（変更）することが可能である（ステップＳ２６）。

　例えば、操作部２５のうち、通常はズームレンズを駆動して焦点距離を変更するためのズームキー（不図示）を用いて、画像１０１の視差を調整する。視差の調整は、図４を用いて説明したように、左右画像を水平方向に平行移動させることで行う。画像１０１は、ズームキーの操作にしたがって左右画像の平行移動が行われる結果、ユーザはリアルタイムに画像１０１を見ながら立体感を確認することができる。

　このとき、必要以上に平行移動して視差が大きくなりすぎることを防止するために、視差の変更には上限が設けられている。ユーザがズームキーを操作して視差を上限まで大きくした場合には、視差の調整が限界に達したと判断され（ステップＳ２７）、それ以上は視差が大きくならないように、左右画像の平行移動を停止させ、表示部６１に警告が表示される。警告表示がされた場合であっても、再び視差が小さくなるような調整は当然行うことができる。

　所望の視差に調整ができたら、ユーザは操作部２５の決定ボタン（不図示）を操作することで、その視差を有する左右画像の全体（切り出し画像１０１の基となった画像）を表示部６１の全面に表示させることができる（ステップＳ１０４）。

　このように、小画面表示された確認用画像を見ながら視差の調整（変更）を可能としたので、ユーザは左右画像を最適な視差に設定することができる。また、視差調整に上限を設けたので、両目が外側を向くような不適切な視差調整を防止することができる。

　［第４の実施形態］
　図８は、画像再生システム１０の第４の実施形態の画像再生に係るフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　まず、カメラ２０とテレビ６０とを接続し（ステップＳ１）、テレビ６０の表示部６１のサイズを入力する（ステップＳ２）。

　ここで、３Ｄデジタルカメラ２０の視差算出部３０は、テレビ６０の表示部６１に表示させる画像の解析を行う。画像解析の詳細としては、まず画像からユーザが注視する可能性がある物体を抽出する。例えば、高周波成分や、人物の顔を抽出する。さらに、抽出した物体の画像奥行き方向の距離情報を解析する。

　この画像解析結果に基づいて、画像奥行き方向の最も奥側に位置する物体の視差量を算出する（ステップＳ３３）。ここで、奥側に位置する注視物体の視差量を問題とするのは、奥行き側の視差量が大きいと、左右の目が外側を向く結果となるからである。

　ＲＯＭ２６には、図９に示すテレビサイズと視差調整量との関係を示した参照マップが記録されている。視差算出部３０は、ステップＳ３３において算出された視差量に基づいて、この参照マップを更新する（ステップＳ３４）。さらに、視差算出部３０は、更新後の参照マップを参照して、ｖ１、ｖ２、ｖ３の３つの視差調整量を生成する（ステップＳ１３）。

　また、視差算出部３０は、この最も奥側に位置する物体を含む領域を切り出した切り出し画像を生成する。

　カメラ２０は、この生成した視差調整量ｖ１～ｖ３及び左右の切り出し画像データを、ユーザが立体視を行う左右画像データとともにテレビ６０に送信し（ステップＳ１４）、テレビ６０はこれらを受信する（ステップＳ１１１）。

　その後の処理は、第２の実施形態と同様である。即ち、視差調整量ｖ１、ｖ２、ｖ３で視差を調整した３種類の切り出し画像が、表示部６１の一部に画像１０１ａ～１０１ｃとして立体視可能に小画面表示される。ユーザは、これらの３つの画像の中から視差の適した画像を選択することができる。選択された画像は、表示部６１の画面全体に３Ｄ表示される（ステップＳ１０４）。

　このように、立体視を行う画像中の被写体を解析して、最も奥側に位置する注視物体の視差量に応じて参照マップを更新し、更新した参照マップに基づいて視差調整量を生成するようにしたので、表示される画像に適した視差で立体視を行うことができる。また、複数の視差調整量で調整された複数の画像を立体視可能に小画面表示し、これらの画像の中からユーザが視差の適した画像を選択可能に構成したので、ユーザがディスプレイサイズを誤入力した場合であっても、適切な視差の画像を選択することができる。

　［第５の実施形態］
　図１０は、立体画像再生システム１０の第５の実施形態の画像再生に係るフローチャートである。本実施形態は、第３の実施形態とほぼ同様であるが、画像１０１として小画面表示されるときの視差量が、画像解析結果によって決められる。

　即ち、第４の実施形態と同様に、表示させる画像の被写体を抽出し、抽出した被写体の画像奥行き方向の距離情報を解析し、最も奥側に位置する被写体の視差量を算出する（ステップＳ３３）。

　ＲＯＭ２６には、テレビサイズと視差調整量との関係を示した参照マップが記録されている。視差算出部３０は、ステップＳ３３において算出された視差量に基づいて、この参照マップを更新する（ステップＳ３４）。

　視差算出部３０は、更新後の参照マップを参照して、視差調整量ｖを生成するとともに（ステップＳ３）、この最も奥側に位置する物体を含む領域を切り出した切り出し画像を生成し、当該切り出し画像データと視差調整量ｖを、立体視を行う左右画像データとともにテレビ６０に送信する（ステップＳ４）。

　テレビ６０は、視差調整量ｖの切り出し画像を画像１０１として表示部６１に立体視可能に小画面表示する（ステップＳ１０１～Ｓ１０３）。

　ユーザは、この画像１０１の視差を、ズームキー等により調整することができ（ステップＳ２５～Ｓ２８）、調整後に表示部６１の全面に左右画像の全体を表示させることができる（ステップＳ１０４）。

　このように、テレビサイズを入力後、カメラのディスプレイサイズで確認用画像を表示する際に、画像中の被写体を解析して視差調整量を決定するようにしたので、画像に応じた視差で表示させることができる。

　また、確認用画像を見ながら視差の調整（変更）を可能としたので、ユーザは左右画像を最適な視差に設定することができる。また、確認用画像がカメラのディスプレイサイズ等の小サイズであるので、最適な視差に設定するまで健康への影響を軽減することができる。

　各実施形態では、表示部６１のディスプレイサイズはユーザにカメラ２０から入力させているが、テレビ６０から直接取得してもよい。テレビ６０から直接取得した場合であっても、左右画像の視差が適切でない可能性があり、小画面表示を行う意義がある。

　また、ここではカメラ２０から受信した画像をテレビ６０が縮小表示することで小画面表示させているが、カメラ２０において小画面表示用の画像を生成してもよい。例えば、カメラ２０において図５の（ａ）に示すような画像データ、即ち小画面表示させるための被写体を一部に配置した大きな余白部を有する画像データを生成し、テレビ６０がこの画像を表示部６１において表示させてもよい。この場合は、小画面表示の視差調整はカメラ２０側で行えばよい。

　１０…立体画像再生システム、２０…３Ｄデジタルカメラ、２１…ＣＣＤ、２５…操作部、３０…視差算出部、３２、６１…表示部、６０…３Ｄテレビ、６３…視差調整部、１０１、１０１ａ～１０１ｃ…小画面表示された画像

Claims

　立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
　立体画像のデータを取得する画像取得部と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、
　前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、
　前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かを判断する判断部と、
　前記判断部において立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
　を備えた立体画像再生装置。
　前記判断部は、立体感が適切であるか否かをユーザに選択させる選択部を備えた請求項１に記載の立体画像再生装置。
　前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に立体画像以外を表示させる請求項１又は２に記載の立体画像再生装置。
　前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に前記立体画像のデータに基づく平面画像を表示させる請求項３に記載の立体画像再生装置。
　前記表示制御部は、前記判断部において立体感が適切でないと判断されると、警告を表示させる請求項３又は４に記載の立体画像再生装置。
　立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
　立体画像のデータを取得する画像取得部と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成部と、
　前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、
　前記小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させる画像選択部と、
　前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
　を備えた立体画像再生装置。
　前記表示制御部は、前記小画面表示された複数の画像の中に立体感が適切な立体画像が存在しない場合に前記立体画像表示装置に立体画像以外を表示させる請求項６に記載の立体画像再生装置。
　立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
　立体画像のデータを取得する画像取得部と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、
　前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、
　前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正部と、
　前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
　を備えた立体画像再生装置。
　前記修正部は、予め定められた閾値以上の修正を制限する制限部を備えた請求項８に記載の立体画像再生装置。
　前記表示制御部は、前記修正部の修正量が前記予め定められた閾値に達すると前記立体画像表示装置に警告を表示させる請求項９に記載の立体画像再生装置。
　前記ディスプレイサイズ取得部は、ユーザに前記ディスプレイサイズを入力させる入力部を備えた請求項１から１０のいずれかに記載の立体画像再生装置。
　立体画像を再生表示可能な表示部を備え、
　前記小画面表示部が小画面表示させる前記立体画像表示装置のディスプレイサイズよりも小さいサイズは、前記表示部のサイズと同じサイズである請求項１から１１のいずれかに記載の立体画像再生装置。
　前記立体画像表示装置のディスプレイサイズと視差調整量との関係を示す参照マップを備え、
　前記視差調整量生成部は、前記参照マップに基づいて視差調整量を生成する請求項１から１２のいずれかに記載の立体画像再生装置。
　前記立体画像中の被写体を解析する画像解析部を備え、
　前記視差調整量生成部は、前記画像解析部の解析結果に基づいて前記視差調整量を生成する請求項１から１３のいずれかに記載の立体画像再生装置。
　前記画像解析部は、被写体の画像奥行き方向の距離情報を解析する請求項１４に記載の立体画像再生装置。
　前記小画面表示部は、前記立体画像から前記最も奥側に位置する注視物体を含む領域を切り出して前記立体画像表示装置に小画面表示させる請求項１５に記載の立体画像再生装置。
　前記取得部は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像部を備えた請求項１から１６のいずれかに記載の立体画像再生装置。
　所定のサイズの３Ｄディスプレイを備えた立体画像表示装置と、
　請求項１から１７のいずれかに記載の立体画像再生装置と、
　を備えた立体画像再生システム。
　立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
　立体画像のデータを取得する画像取得工程と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、
　前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、
　前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かを判断する判断工程と、
　前記判断工程において立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
　を備えた立体画像再生方法。
　立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
　立体画像のデータを取得する画像取得工程と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成工程と、
　前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、
　前記小画面表示された複数の画像から、ユーザに最も立体視に適した立体画像を選択させる画像選択工程と、
　前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
　を備えた立体画像再生方法。
　立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
　立体画像のデータを取得する画像取得工程と、
　前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
　前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、
　前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、
　前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正工程と、
　前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
　を備えた立体画像再生方法。