JP5546633B2 - 立体画像再生装置、立体画像再生システム及び立体画像再生方法 - Google Patents

立体画像再生装置、立体画像再生システム及び立体画像再生方法 Download PDF

Info

Publication number
JP5546633B2
JP5546633B2 JP2012521373A JP2012521373A JP5546633B2 JP 5546633 B2 JP5546633 B2 JP 5546633B2 JP 2012521373 A JP2012521373 A JP 2012521373A JP 2012521373 A JP2012521373 A JP 2012521373A JP 5546633 B2 JP5546633 B2 JP 5546633B2
Authority
JP
Japan
Prior art keywords
stereoscopic image
display
parallax
image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012521373A
Other languages
English (en)
Other versions
JPWO2011162037A1 (ja
Inventor
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012521373A priority Critical patent/JP5546633B2/ja
Publication of JPWO2011162037A1 publication Critical patent/JPWO2011162037A1/ja
Application granted granted Critical
Publication of JP5546633B2 publication Critical patent/JP5546633B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens

Description

本発明は立体画像再生装置、立体画像再生システム及び立体画像再生方法に係り、特に、立体視における健康への影響を事前に防止する技術に関する。
立体撮像装置は、左右に視差をもって並べられた2つの撮像部を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得している。この左右の画像が、3次元(3D)表示が可能な3Dディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。
ところが、3Dディスプレイには様々な画面サイズ(ディスプレイサイズ)のものが存在し、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする3Dディスプレイのディスプレイサイズに対して適切でない場合もある。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。
このような課題に対し、特許文献1には、画像ファイルのヘッダ情報から取得した想定ディスプレイサイズと実際に表示を行うディスプレイサイズを比較し、実際のディスプレイサイズの方が大きい場合には、想定表示サイズで表示するとともに警告を行った上で、実際のディスプレイサイズで拡大表示する技術が記載されている。
この技術によれば、視差の拡大による眼精疲労を事前に防止することができる。
特開2004−334833号公報
しかしながら、特許文献1に記載の技術では、実際に表示を行う3Dディスプレイのディスプレイサイズに応じた視差調整量を設定することはできない。即ち、警告後に拡大表示される左右画像の視差量は、画像ファイルに記録された左右画像の有する視差量が画像の拡大率に応じて拡大されたものであり、拡大表示された左右画像が立体視可能である保証は無い。
このような問題点を解決するために、表示を行う3Dディスプレイのディスプレイサイズを、ユーザが再生器側から入力することが考えられる。この場合、再生器は、入力されたディスプレイサイズに応じて左右画像の視差調整量を算出し、算出した視差調整量を左右画像データとともに3Dディスプレイに送信する。これらを受信した3Dディスプレイは、左右画像の視差を視差調整量に基づいて調整してから立体表示させればよい。
ここで、左右画像のずれ量をX、画像の横幅をYとしたときの視差量をX/Yと定義する。奥行き側の視差量が5%の画像を、アスペクト比が4:3の100インチの3Dディスプレイに表示する場合、3Dディスプレイの表示部の横幅は約2000mmであるから、左右画像のずれ量は2000mmに対する5%の100mmとなる。
人間の両眼間隔を50mmとすると、奥行き側に100mmのずれ量を持つ左右画像を立体視すると左右の目が外側を向いてしまうため、100mm−50mm=50mmの視差調整量が必要となる。したがって、ユーザが3Dディスプレイのディスプレイサイズを100インチと入力した場合、この画像の視差調整量は50mmとなる。
これに対し、この画像をアスペクト比が4:3の50インチの3Dディスプレイに表示する場合、表示部の横幅は約1000mmであるから、左右画像のずれ量は1000mmに対する5%の50mmとなる。即ち、この画像を50インチの3Dディスプレイに表示する場合であれば、視差調整は不要である。したがって、ユーザが3Dディスプレイのディスプレイサイズを50インチと入力した場合、この画像の視差調整量は0mmとなる。
しかしながら、ユーザが3Dディスプレイのディスプレイサイズを誤入力してしまうと、誤入力されたディスプレイサイズに基づいて視差調整量を算出してしまうため、左右画像のずれ量が両眼間隔を超えてしまう場合がある。例えば、視差量が5%の画像を表示させる際に、実際の3Dディスプレイのディスプレイサイズが100インチであるにもかかわらず、ユーザが50インチと誤入力した場合について考える。
この場合には、再生器では視差調整量を0mmと算出する。そして、視差調整量0mmで100インチのディスプレイに表示される結果、左右画像のずれ量が100mmとなる。この左右画像のずれ量は両眼間隔を超えているため、立体視すると左右の目が外側を向き、その結果目に負担がかかり、健康への影響が発生する結果となる。
本発明はこのような事情に鑑みてなされたもので、左右画像の視差が適切でない場合であっても、立体視による健康への影響を事前に防止することができる立体画像再生装置、立体画像再生システム及び立体画像再生方法を提供することを目的とする。
前記目的を達成するために本発明に係る立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かをユーザに選択させる選択部と、前記選択部において立体感が適切であると選択されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。
前記目的を達成するために本発明に係る立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成部と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置にそれぞれ小画面表示させる小画面表示部と、前記小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させる画像選択部と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。
前記目的を達成するために本発明に係る立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正部と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。
前記目的を達成するために本発明に係る立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かをユーザに選択させる選択工程と、前記選択工程において立体感が適切であると選択されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
前記目的を達成するために本発明に係る立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成工程と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置にそれぞれ小画面表示させる小画面表示工程と、前記小画面表示された複数の画像から、ユーザに最も立体視に適した立体画像を選択させる画像選択工程と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
前記目的を達成するために本発明に係る立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正工程と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
前記目的を達成するために本発明の第1態様の立体画像再生装置は、立体画像表示装置
に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画
像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ
取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整する
ための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整
された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該
立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された立体画像に
基づいて、当該立体画像の立体感が適切であるか否かを判断する判断部と、前記判断部に
おいて立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された
立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させ
る表示制御部と、を備えた。
第1態様によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいて視差調整量を生成し、視差調整量に基づいて視差が調整された立体画像をディスプレイサイズよりも小さいサイズで小画面表示させ、立体視に関する問題の有無を選択させるようにしたので、左右画像の視差が適切でない場合であっても、小画面表示により事前に健康への影響を防止することができる。
また、視差が適切な場合には、ディスプレイサイズで立体画像を表示するので、ユーザは適切な視差の左右画像を立体視することができる。
本発明の第2態様は第1態様の立体画像再生装置において、前記判断部は、立体感が適切であるか否かをユーザに選択させる選択部を備えた。
これにより、立体感が適切であるか否かを適切に判断することができる。
本発明の第3態様は第1態様又は第2態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に立体画像以外を表示させる。
これにより、健康への影響を防止することができる。
本発明の第4態様は第3態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、前記立体画像表示装置に前記立体画像のデータに基づく平面画像を表示させる。
これにより、健康への影響を防止することができる。
本発明の第5態様は第3態様又は第4態様の立体画像再生装置において、前記表示制御部は、前記判断部において立体感が適切でないと判断されると、警告を表示させる。
これにより、立体感が適切でないことをユーザが知ることができる。
前記目的を達成するために本発明の第6態様の立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成部と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させる画像選択部と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。
第6態様によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいてそれぞれ異なる複数の視差調整量を生成し、複数の視差調整量に基づいて視差が調整された複数の立体画像を小画面表示させ、小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させるようにしたので、左右画像の視差が適切な画像を選択して立体視することができる。
本発明の第7態様に示すように第6態様の立体画像再生装置において、前記表示制御部は、前記小画面表示された複数の画像の中に立体感が適切な立体画像が存在しない場合に前記立体画像表示装置に立体画像以外を表示させる。
これにより、健康への影響を防止することができる。
前記目的を達成するために本発明の第8態様の立体画像再生装置は、立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、立体画像のデータを取得する画像取得部と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正部と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部とを備えた。
第8態様の発明によれば、立体画像表示装置のディスプレイサイズを取得し、ディスプレイサイズに基づいて、立体画像の視差を調整するための視差調整量を生成し、視差調整量に基づいて視差が調整された立体画像を小画面表示させ、小画面表示された画像に基づいてユーザに視差調整量を修正させるようにしたので、左右画像の視差を適切な視差に調整して立体視することができる。
本発明の第9態様は第8態様の立体画像再生装置において、前記修正部は、予め定められた閾値以上の修正を制限する制限部を備えた。
これにより、視差が大きくなりすぎることを防止することができるので、健康への影響を防止することができる。
本発明の第10態様は第9態様の立体画像再生装置において、前記表示制御部は、前記修正部の修正量が前記予め定められた閾値に達すると前記立体画像表示装置に警告を表示させる。
これにより、ユーザは視差調整において視差が大きくなりすぎたことを知ることができる。
本発明の第11態様は第1態様から第10態様のいずれかの立体画像再生装置において、前記ディスプレイサイズ取得部は、ユーザに前記ディスプレイサイズを入力させる入力部を備えた。
本発明の第12態様は第1態様から第11態様のいずれかの立体画像再生装置において、立体画像を再生表示可能な表示部を備え、前記小画面表示部が小画面表示させる前記立体画像表示装置のディスプレイサイズよりも小さいサイズは、前記表示部のサイズと同じサイズである。
これにより、小画面表示の画像の視差が適切か否かを容易に判断することができる。
本発明の第13態様は第1態様から第12態様のいずれかの立体画像再生装置において、前記立体画像表示装置のディスプレイサイズと視差調整量との関係を示す参照マップを備え、前記視差調整量生成部は、前記参照マップに基づいて視差調整量を生成する。
これにより、適切に視差調整量を生成することができる。
本発明の第14態様は第1態様から第13態様のいずれかの立体画像再生装置において、前記立体画像中の被写体を解析する画像解析部を備え、前記視差調整量生成部は、前記画像解析部の解析結果に基づいて前記視差調整量を生成する。
これにより、画像中の被写体に応じて適切に視差調整量を生成することができる。
本発明の第15態様は第14態様の立体画像再生装置において、前記画像解析部は、被写体の画像奥行き方向の距離情報を解析する。
これにより、画像中の被写体の奥行き方向の距離に応じて適切に視差調整量を生成することができる。
本発明の第16態様は第15態様の立体画像再生装置において、前記小画面表示部は、前記立体画像から最も奥側に位置する注視物体を含む領域を切り出して前記立体画像表示装置に小画面表示させる。
これにより、左右画像の視差が適切か否かを判定することができる。
本発明の第17態様は第1態様から第16態様のいずれかの立体画像再生装置において、前記画像取得部は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像部を備えた。
これにより、撮影した画像をリアルタイムに立体視することができる。
前記目的を達成するために本発明の第18態様の立体画像再生システムは、所定のサイズの3Dディスプレイを備えた立体画像表示装置と、第1態様から第17態様のいずれかに記載の立体画像再生装置とを備えた。
前記目的を達成するために本発明の第19態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された立体画像に基づいて、当該立体の立体感が適切であるか否かを判断する判断工程と、前記判断工程において立体感が適切であると判断されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
前記目的を達成するために本発明の第20態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成工程と、前記複数の視差調整量に基づいて視差が調整された複数の立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された複数の画像から、ユーザに最も立体視に適した立体画像を選択させる画像選択工程と、前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
前記目的を達成するために本発明の第21態様の立体画像再生方法は、立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、立体画像のデータを取得する画像取得工程と、前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、前記視差調整量に基づいて視差が調整された立体画像を、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正工程と、前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程とを備えた。
本発明によれば、左右画像の視差が適切でない場合であっても、立体視による健康への影響を事前に防止することができる。
立体画像再生システムの外観図 立体画像再生システムの電気的構成を示すブロック図 第1の実施形態の画像再生に係るフローチャート 視差の調整を説明するための図 小画面表示を説明するための図 第2の実施形態の画像再生に係るフローチャート 第3の実施形態の画像再生に係るフローチャート 第4の実施形態の画像再生に係るフローチャート テレビサイズと視差調整量との関係を示した参照マップを示す図 第5の実施形態の画像再生に係るフローチャート
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
[立体画像再生システムの構成]
図1は、本実施の形態に係る立体画像再生システム10の外観を示す図である。同図に示すように、立体画像再生システム10は、表示部32を有する3Dデジタルカメラ20(以下、カメラ20と呼ぶ)と、表示部61を有する3Dテレビ60(以下、テレビ60と呼ぶ)とから構成され、カメラ20とテレビ60は、ケーブル50で接続されている。
図2は、立体画像再生システム10の電気的構成を示すブロック図である。
同図に示すように、カメラ20は、CCD21、画像処理部22、出力インターフェース23、CPU24、操作部25、ROM26、視差算出部30等から構成されている。また、テレビ60は、表示部61、視差調整部63、入力インターフェース64等から構成されている。
カメラ20のCPU24は、ROM26に記録された制御プログラムに基づいて、カメラ20全体の動作を統括制御する。
CCD21は、ユーザによる操作部25からの撮影指示に基づいて、左右に配置された図示しない撮影レンズを介して受光した被写体像から、左右画像を取得する。CCD21から出力されたアナログの画像信号は画像処理部22においてデジタル信号化され、画像メモリ29に記憶される。
視差算出部30は、操作部25から入力されたディスプレイサイズ(テレビサイズ)情報に基づいて、画像メモリ29に記憶されている左右画像の視差調整量を算出する。
画像メモリ29に記憶されている左右画像は、表示コントローラ31を介して表示部32に表示することができる。表示部32は、パララックスバリア方式やレンチキュラー方式の3D表示部であり、コントローラ31を介して入力された左右画像が、所定の視差で3D表示される。また、ユーザが操作部25を操作する際におけるユーザインターフェースとしても用いられる。
また、画像メモリ29に記憶されている左右画像を、出力インターフェース23からケーブル50を介してテレビ60に出力することができる。このとき、視差算出部30において算出された左右画像の視差調整量も同時に出力される。
なお、画像メモリ29に記憶されている左右画像は、メモリインターフェース27により外部メモリ28に記録することも可能である。外部メモリ28としては、メモリカード等の着脱可能な記録媒体が用いられる。
また逆に、外部メモリ28に記録された左右画像をメモリインターフェース27を介して読み出し、画像メモリ29に記憶することも可能である。このように、カメラ20は、CCD21により撮影した画像や外部メモリ28から読み出した画像を、表示部32に表示可能であるとともに、テレビ60に出力可能に構成されている。
カメラ20から出力された左右画像と視差調整量は、入力インターフェース64を介してテレビ60に入力される。カメラ20とテレビ60との通信手段は特に限定されないが、例えばHDMI(High Definition Multimedia Interface)規格に準じたインターフェース等を用いることが考えられる。また、有線ではなく、無線で通信を行うように構成してもよい。
視差調整部63は、入力された視差調整量に基づいて左右画像の視差を調整する。視差が調整された左右画像は、コントローラ62を介して表示部61に出力される。
表示部61は、カメラ20の表示部32と同様にパララックスバリア方式やレンチキュラー方式の3D表示部であり、入力された左右画像を立体視可能に表示する。したがって、ユーザはカメラ20から出力した左右画像を表示部61において立体視することが可能となる。なお、表示部61は、偏光眼鏡等を用いて立体視させる方式であってもよい。
このように、カメラ20は、出力インターフェース23に接続したディスプレイ(テレビ)の表示部に左右画像を再生表示させることが可能であり、様々なテレビサイズのテレビに接続可能である。カメラ20は、接続されたテレビのテレビサイズに適した立体視が可能となるように、ユーザにテレビのテレビサイズを入力させ、入力されたテレビサイズに応じて視差調整量を算出し、左右画像とともに接続されたテレビに出力する。
[第1の実施形態]
図3は、画像再生システム10の第1の実施形態の画像再生に係るフローチャートである。
最初に、カメラ20とテレビ60とを接続する(ステップS1)。前述したように、ここではケーブル50を用いて通信可能に接続している。
次に、カメラ20の操作部25を用いて、カメラ20に接続したテレビ60のテレビサイズ、即ち表示部61のサイズを入力する(ステップS2)。テレビサイズの入力は、表示部32に一覧表示したサイズから選択させるようにしてもよいし、表示部61の横幅や対角線の長さの数値を直接入力させるようにしてもよい。
視差算出部30は、ステップS2で入力されたテレビサイズに基づいて、左右画像の視差調整量vを生成する(ステップS3)。視差調整量vは、テレビサイズと視差調整量との関係を示したテーブルを予めROM26に記録しておき、視差算出部30がこのテーブルを参照して決定してもよい。
また、視差算出部30は、左右画像について画像の解析を行い、所定の被写体であり、かつ視差が最も大きい被写体を抽出する。このとき、視差が大きい被写体であっても、カメラ20との距離が近すぎて、適切な立体視ができない被写体については除外する。
具体的には、まず、画像からユーザが注視する可能性がある物体を抽出する。例えば、高周波成分や、人物の顔を抽出する。さらに、抽出した物体の画像奥行き方向の距離情報を解析する。この画像解析結果に基づいて、最も視差量が大きい物体、例えば画像奥行き方向の最も奥側に位置する物体を抽出する。
CPU24は、左右画像のそれぞれの画像から、最も視差が大きい被写体を含む領域を切り出した切り出し画像を生成する。
なお、抽出された最も視差が大きい被写体が、切り出し領域より大きい場合には、必ずしもその被写体を含むように切り出し領域を設定するのではなく、切り出し領域のサイズの上限を予め決めておき、その上限を超えない範囲で対象被写体を中心とした切り出し領域を設定すればよい。
この生成した視差調整量v及び左右切り出し画像データを、ユーザが立体視を行う左右画像データとともにテレビ60に送信する(ステップS4)。
テレビ60では、カメラ20から送信された視差調整量v、左右切り出し画像データ、及び左右画像データを受信し(ステップS101)、視差調整部63が左右切り出し画像の視差を視差調整量vに応じて調整する(ステップS102)。
ここで、視差の調整について説明する。図4の(a)は左右画像の左画像(左目で視認するための画像)、図4の(b)は右画像(右目で視認するための画像)を示している。この左右画像は、カメラ20の表示部32に表示して立体視させる場合に適した視差を有しているが、テレビ60の表示部61に表示して立体視させる場合には、奥行き側の視差が大きすぎて両目が外側に広がってしまう可能性がある。したがって、視差算出部30は、奥行き側の視差を弱めるための視差調整量vを算出し、視差調整部63は、視差調整量vだけ左右画像を水平方向に平行移動させて視差の調整をする。
図4の(c)は、図4の(b)に示した右画像を視差調整量vだけ左方向へ水平移動させた図である。図4の(a)に示す左画像と図4の(c)に示す視差調整後の右画像を表示することで、奥行き側の視差を弱めた立体表示となる。
ここでは、右画像を視差調整量vだけ左方向へ水平移動させたが、左画像を視差調整量vだけ右方向へ水平移動させてもよいし、右画像をv/2だけ左方向へ、かつ左画像をv/2だけ右方向へ水平移動させてもよい。
上記のように視差調整した左右切り出し画像を、図5の(a)に示すように、表示部61の画面全体ではなく、その一部に小さいサイズの画像101として立体視可能に表示する(ステップS103)。即ち、表示部61の画面全体に表示する場合に適した視差を持つ左右画像について、最も視差が大きい被写体を含む領域だけを表示することになる。なお、画像101を表示する位置は、表示部61のどの位置でもよく、適宜決めればよい。
ステップS2において、テレビサイズの誤入力があった場合には、視差調整量vが適切でなく、立体視に適さない表示となる可能性がある。したがって、表示部61の画面全体に表示を行うのではなく、左右画像の視差が適切か否かを確認するために、左右の切り出し画像を立体表示(小画面表示)する。視差が適切でなく、両目が外側を向いてしまう場合であっても、小画面表示であれば、健康への影響が小さいからである。
なお、小画面表示の画像サイズは、カメラ20の表示部32のサイズと同等以上であり、かつテレビ60の表示部61のサイズの1/3以下であることが好ましい。より望ましくは、カメラ20の表示部32のサイズと同じであることが好ましい。カメラ20の表示部32のサイズであれば、ユーザは画像を確認する際に違和感が無く、視差が適切か否かの判断が容易になる。
さらに、小画面表示された被写体(最も視差が大きい被写体)の大きさが、左右画像全体が表示部61全体に表示された場合の被写体の大きさと同じ大きさとなるように、切り出し領域の範囲と小画面表示サイズが決定されることが好ましい。
また、図5の(b)に示すように、立体視可能な切り出し画像101とともに、左右画像のいずれかの画像を表示部61全体に2D表示させてもよい。このように表示させることで、ユーザは、小画面表示された画像101の被写体(最も視差の大きい被写体)の画像全体における位置を知ることができる。さらに、画像全体が表示部61に3D表示されたときのイメージを知ることができる。
ユーザは、この立体視可能に小画面表示された切り出し画像を確認し、カメラ20の操作部25により表示画像の立体視に関する問題の有無、即ち立体視可能な視差であるか否かを入力する(ステップS5)。
ここで、問題が無いと入力された場合、即ち立体視可能な視差である場合には、CPU24からテレビ60に左右画像の全体について3D表示を行うように指示する。逆に、問題があると入力された場合、即ち立体視に適さない視差である場合には、CPU24からテレビ60に画像全体について2D表示を行うように指示する(ステップS6、7)。この指示を受けたテレビ60のコントローラ62は、図5の(c)に示すように表示部61の画面全体に、指示にしたがって3D表示又は2D表示を行う(ステップS104)。
なお、2D表示をする際には、左画像を表示してもよいし、右画像を表示してもよい。また、画像とともに「3D表示できません」等の文字を表示して警告してもよいし、文字のみを表示してもよい。ステップS5において問題があると入力された場合には、ステップS2に戻り、テレビサイズの入力を再度行うように構成してもよい。
以上のように、テレビサイズを入力後、テレビのディスプレイ全体に画像全体を表示するのではなく、カメラのディスプレイサイズ等で確認用の切り出し画像を表示するようにしたので、ユーザがディスプレイサイズを誤入力した場合であっても、事前に健康への影響を防止することができる。また、視差が適切と判断した場合には、テレビのディスプレイ全体に画像全体について3D表示を行うので、ユーザは所望の画像を立体視することができる。
また、確認用画像のサイズをカメラのディスプレイサイズとすることで、ユーザは違和感なく視差が適切か否かを確認することができる。
[第2の実施形態]
図6は、画像再生システム10の第2の実施形態の画像再生に係るフローチャートである。なお、図3のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
本実施形態では、視差算出部30は、入力されたテレビサイズに基づいて、左右画像の視差調整量について、v1、v2、v3の3つの値を生成する(ステップS13)。例えば、v2については第1の実施形態の視差調整量vと同様の標準的な値とし、v1<v2<v3となるようにv1、v3を生成する。第1の実施形態で説明したように、視差調整量v1〜v3は、テレビサイズと視差調整量との関係を示したテーブルから参照して決定するようにしてもよい。
また、視差算出部30は、第1の実施形態と同様に、左右画像について画像の解析を行い、最も視差量が大きい被写体を抽出し、この被写体を含む領域を切り出した切り出し画像を生成する。
カメラ20は、この生成した視差調整量v1〜v3及び左右の切り出し画像を、ユーザが立体視を行う左右画像データとともにテレビ60に送信し(ステップS14)、テレビ60はこれらを受信する(ステップS111)。
視差調整部63は、左右の切り出し画像の視差を視差調整量v1〜v3に応じて調整する(ステップS112)。即ち、視差調整量v1で視差を調整した左右の切り出し画像、視差調整量v2で視差を調整した左右の切り出し画像、及び視差調整量v3で視差を調整した左右の切り出し画像の3種類の立体画像を生成する。視差の調整は、第1の実施形態で説明したように、左右画像を水平方向に平行移動させることで行えばよい。
次に、この3種類の切り出し画像を、図5の(d)に示すように、表示部61の一部に画像101a〜101cとして小画面表示する(ステップS113)。即ち、視差調整量v1で視差を調整した左右の切り出し画像を101a、視差調整量v2で視差を調整した左右の切り出し画像を101b、及び視差調整量v3で視差を調整した左右の切り出し画像を101cとしてそれぞれ立体視可能に小画面表示する。
なお、画像101a〜101cを表示する位置は、表示部61のどの位置でもよく、適宜決めればよい。また、表示部61の画面全体に、左右画像のいずれかの画像を2D表示させてもよい。
第1の実施形態と同様に、ステップS2においてテレビサイズの誤入力があった場合には、視差調整量vが適切でなく、立体視に適さない表示となる可能性がある。そこで、3種類の視差調整量v1〜v3を生成し、それぞれの視差調整量で視差を調整した3種類の左右の切り出し画像を小サイズの画像として表示することで、視差の適した画像をユーザが選択することができる。視差が適切でなく、両目が外側を向いてしまう左右画像が含まれている場合であっても、小画面表示された画像であれば、健康への影響が小さい。
第1の実施形態と同様に、画像101a〜101cの画像サイズは、カメラ20の表示部32のディスプレイサイズと同じであることが好ましい。
ユーザは、この3種類の画像を確認し、カメラ20の操作部25を用いて最も視差が適当な画像を選択する(ステップS15)。
CPU24は、選択された画像の情報をテレビ60に送信し、これを受信したテレビ60のコントローラ62は、図5の(c)に示すように、選択された画像の視差量を用いて、表示部61の画面全体に左右画像の全体を3D表示する(ステップS104)。
なお、画像101a〜101cのいずれの画像も視差が適切でない場合には、操作部25からその旨を入力することにより、表示部61に2D表示されるように構成してもよい。
以上のように、テレビサイズを入力後、複数種類の視差調整量で左右の切り出し画像の視差を調整し、カメラのディスプレイサイズで選択可能に複数の確認用画像を立体視可能に表示したので、ユーザがディスプレイサイズを誤入力した場合であっても、適切な視差の画像を選択することができる。
ここでは、3種類の視差調整量v1〜v3を生成し、視差調整量v1〜v3に基づいて3種類の画像101a〜101cを小画面表示して選択させたが、選択可能な画像の数は2種類でも、4種類以上でも構わない。
[第3の実施形態]
図7は、画像再生システム10の第3の実施形態の画像再生に係るフローチャートである。なお、図3のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
本実施形態は、視差調整量vの切り出し画像を画像101として表示部61に小画面表示するところまでは、第1の実施形態と同様である(〜ステップS103)。
ここで、ユーザがこの小画面表示された画像101を確認した結果、視差の調整が必要と考えた場合に(ステップS25)、小画面表示された画像101を確認しながら視差を調整(変更)することが可能である(ステップS26)。
例えば、操作部25のうち、通常はズームレンズを駆動して焦点距離を変更するためのズームキー(不図示)を用いて、画像101の視差を調整する。視差の調整は、図4を用いて説明したように、左右画像を水平方向に平行移動させることで行う。画像101は、ズームキーの操作にしたがって左右画像の平行移動が行われる結果、ユーザはリアルタイムに画像101を見ながら立体感を確認することができる。
このとき、必要以上に平行移動して視差が大きくなりすぎることを防止するために、視差の変更には上限が設けられている。ユーザがズームキーを操作して視差を上限まで大きくした場合には、視差の調整が限界に達したと判断され(ステップS27)、それ以上は視差が大きくならないように、左右画像の平行移動を停止させ、表示部61に警告が表示される。警告表示がされた場合であっても、再び視差が小さくなるような調整は当然行うことができる。
所望の視差に調整ができたら、ユーザは操作部25の決定ボタン(不図示)を操作することで、その視差を有する左右画像の全体(切り出し画像101の基となった画像)を表示部61の全面に表示させることができる(ステップS104)。
このように、小画面表示された確認用画像を見ながら視差の調整(変更)を可能としたので、ユーザは左右画像を最適な視差に設定することができる。また、視差調整に上限を設けたので、両目が外側を向くような不適切な視差調整を防止することができる。
[第4の実施形態]
図8は、画像再生システム10の第4の実施形態の画像再生に係るフローチャートである。なお、図6のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
まず、カメラ20とテレビ60とを接続し(ステップS1)、テレビ60の表示部61のサイズを入力する(ステップS2)。
ここで、3Dデジタルカメラ20の視差算出部30は、テレビ60の表示部61に表示させる画像の解析を行う。画像解析の詳細としては、まず画像からユーザが注視する可能性がある物体を抽出する。例えば、高周波成分や、人物の顔を抽出する。さらに、抽出した物体の画像奥行き方向の距離情報を解析する。
この画像解析結果に基づいて、画像奥行き方向の最も奥側に位置する物体の視差量を算出する(ステップS33)。ここで、奥側に位置する注視物体の視差量を問題とするのは、奥行き側の視差量が大きいと、左右の目が外側を向く結果となるからである。
ROM26には、図9に示すテレビサイズと視差調整量との関係を示した参照マップが記録されている。視差算出部30は、ステップS33において算出された視差量に基づいて、この参照マップを更新する(ステップS34)。さらに、視差算出部30は、更新後の参照マップを参照して、v1、v2、v3の3つの視差調整量を生成する(ステップS13)。
また、視差算出部30は、この最も奥側に位置する物体を含む領域を切り出した切り出し画像を生成する。
カメラ20は、この生成した視差調整量v1〜v3及び左右の切り出し画像データを、ユーザが立体視を行う左右画像データとともにテレビ60に送信し(ステップS14)、テレビ60はこれらを受信する(ステップS111)。
その後の処理は、第2の実施形態と同様である。即ち、視差調整量v1、v2、v3で視差を調整した3種類の切り出し画像が、表示部61の一部に画像101a〜101cとして立体視可能に小画面表示される。ユーザは、これらの3つの画像の中から視差の適した画像を選択することができる。選択された画像は、表示部61の画面全体に3D表示される(ステップS104)。
このように、立体視を行う画像中の被写体を解析して、最も奥側に位置する注視物体の視差量に応じて参照マップを更新し、更新した参照マップに基づいて視差調整量を生成するようにしたので、表示される画像に適した視差で立体視を行うことができる。また、複数の視差調整量で調整された複数の画像を立体視可能に小画面表示し、これらの画像の中からユーザが視差の適した画像を選択可能に構成したので、ユーザがディスプレイサイズを誤入力した場合であっても、適切な視差の画像を選択することができる。
[第5の実施形態]
図10は、立体画像再生システム10の第5の実施形態の画像再生に係るフローチャートである。本実施形態は、第3の実施形態とほぼ同様であるが、画像101として小画面表示されるときの視差量が、画像解析結果によって決められる。
即ち、第4の実施形態と同様に、表示させる画像の被写体を抽出し、抽出した被写体の画像奥行き方向の距離情報を解析し、最も奥側に位置する被写体の視差量を算出する(ステップS33)。
ROM26には、テレビサイズと視差調整量との関係を示した参照マップが記録されている。視差算出部30は、ステップS33において算出された視差量に基づいて、この参照マップを更新する(ステップS34)。
視差算出部30は、更新後の参照マップを参照して、視差調整量vを生成するとともに(ステップS3)、この最も奥側に位置する物体を含む領域を切り出した切り出し画像を生成し、当該切り出し画像データと視差調整量vを、立体視を行う左右画像データとともにテレビ60に送信する(ステップS4)。
テレビ60は、視差調整量vの切り出し画像を画像101として表示部61に立体視可能に小画面表示する(ステップS101〜S103)。
ユーザは、この画像101の視差を、ズームキー等により調整することができ(ステップS25〜S28)、調整後に表示部61の全面に左右画像の全体を表示させることができる(ステップS104)。
このように、テレビサイズを入力後、カメラのディスプレイサイズで確認用画像を表示する際に、画像中の被写体を解析して視差調整量を決定するようにしたので、画像に応じた視差で表示させることができる。
また、確認用画像を見ながら視差の調整(変更)を可能としたので、ユーザは左右画像を最適な視差に設定することができる。また、確認用画像がカメラのディスプレイサイズ等の小サイズであるので、最適な視差に設定するまで健康への影響を軽減することができる。
各実施形態では、表示部61のディスプレイサイズはユーザにカメラ20から入力させているが、テレビ60から直接取得してもよい。テレビ60から直接取得した場合であっても、左右画像の視差が適切でない可能性があり、小画面表示を行う意義がある。
また、ここではカメラ20から受信した画像をテレビ60が縮小表示することで小画面表示させているが、カメラ20において小画面表示用の画像を生成してもよい。例えば、カメラ20において図5の(a)に示すような画像データ、即ち小画面表示させるための被写体を一部に配置した大きな余白部を有する画像データを生成し、テレビ60がこの画像を表示部61において表示させてもよい。この場合は、小画面表示の視差調整はカメラ20側で行えばよい。
10…立体画像再生システム、20…3Dデジタルカメラ、21…CCD、25…操作部、30…視差算出部、32、61…表示部、60…3Dテレビ、63…視差調整部、101、101a〜101c…小画面表示された画像

Claims (20)

  1. 立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
    立体画像のデータを取得する画像取得部と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、
    前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、
    前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かをユーザに選択させる選択部と、
    前記選択部において立体感が適切であると選択されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
    を備えた立体画像再生装置。
  2. 前記表示制御部は、前記選択部において立体感が適切でないと選択されると、前記立体画像表示装置に立体画像以外を表示させる請求項1に記載の立体画像再生装置。
  3. 前記表示制御部は、前記選択部において立体感が適切でないと選択されると、前記立体画像表示装置に前記立体画像のデータに基づく平面画像を表示させる請求項に記載の立体画像再生装置。
  4. 前記表示制御部は、前記選択部において立体感が適切でないと選択されると、警告を表示させる請求項又はに記載の立体画像再生装置。
  5. 立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
    立体画像のデータを取得する画像取得部と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成部と、
    前記複数の視差調整量に基づいて視差が調整された複数の立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置にそれぞれ小画面表示させる小画面表示部と、
    前記小画面表示された複数の画像から、ユーザに最も立体感が適切な立体画像を選択させる画像選択部と、
    前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
    を備えた立体画像再生装置。
  6. 前記表示制御部は、前記小画面表示された複数の画像の中に立体感が適切な立体画像が存在しない場合に前記立体画像表示装置に立体画像以外を表示させる請求項に記載の立体画像再生装置。
  7. 立体画像表示装置に立体画像を再生表示させる立体画像再生装置であって、
    立体画像のデータを取得する画像取得部と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得部と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成部と、
    前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示部と、
    前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正部と、
    前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御部と、
    を備えた立体画像再生装置。
  8. 前記修正部は、予め定められた閾値以上の修正を制限する制限部を備えた請求項に記載の立体画像再生装置。
  9. 前記表示制御部は、前記修正部の修正量が前記予め定められた閾値に達すると前記立体画像表示装置に警告を表示させる請求項に記載の立体画像再生装置。
  10. 前記ディスプレイサイズ取得部は、ユーザに前記ディスプレイサイズを入力させる入力部を備えた請求項1からのいずれかに記載の立体画像再生装置。
  11. 立体画像を再生表示可能な表示部を備え、
    前記小画面表示部が小画面表示させる前記立体画像表示装置のディスプレイサイズよりも小さいサイズは、前記表示部のサイズと同じサイズである請求項1から10のいずれかに記載の立体画像再生装置。
  12. 前記立体画像表示装置のディスプレイサイズと視差調整量との関係を示す参照マップを備え、
    前記視差調整量生成部は、前記参照マップに基づいて視差調整量を生成する請求項1から11のいずれかに記載の立体画像再生装置。
  13. 前記立体画像中の被写体を解析する画像解析部を備え、
    前記視差調整量生成部は、前記画像解析部の解析結果に基づいて前記視差調整量を生成する請求項1から12のいずれかに記載の立体画像再生装置。
  14. 前記画像解析部は、被写体の画像奥行き方向の距離情報を解析する請求項13に記載の立体画像再生装置。
  15. 前記小画面表示部は、前記立体画像から最も奥側に位置する注視物体を含む領域を切り出して前記立体画像表示装置に小画面表示させる請求項14に記載の立体画像再生装置。
  16. 前記画像取得部は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像部を備えた請求項1から15のいずれかに記載の立体画像再生装置。
  17. 所定のサイズの3Dディスプレイを備えた立体画像表示装置と、
    請求項1から16のいずれかに記載の立体画像再生装置と、
    を備えた立体画像再生システム。
  18. 立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
    立体画像のデータを取得する画像取得工程と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、
    前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、
    前記小画面表示された立体画像に基づいて、当該立体画像の立体感が適切であるか否かをユーザに選択させる選択工程と、
    前記選択工程において立体感が適切であると選択されると、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
    を備えた立体画像再生方法。
  19. 立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
    立体画像のデータを取得する画像取得工程と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量であって、それぞれ異なる複数の視差調整量を生成する視差調整量生成工程と、
    前記複数の視差調整量に基づいて視差が調整された複数の立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置にそれぞれ小画面表示させる小画面表示工程と、
    前記小画面表示された複数の画像から、ユーザに最も立体視に適した立体画像を選択させる画像選択工程と、
    前記選択された立体画像であって、前記視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
    を備えた立体画像再生方法。
  20. 立体画像表示装置に立体画像を再生表示させる立体画像再生方法であって、
    立体画像のデータを取得する画像取得工程と、
    前記立体画像表示装置のディスプレイサイズを取得するディスプレイサイズ取得工程と、
    前記取得したディスプレイサイズに基づいて、前記立体画像の視差を調整するための視差調整量を生成する視差調整量生成工程と、
    前記視差調整量に基づいて視差が調整された立体画像から注視物体を含む領域を切り出して、前記立体画像表示装置のディスプレイサイズよりも小さいサイズで該立体画像表示装置に小画面表示させる小画面表示工程と、
    前記小画面表示された画像に基づいて、ユーザに前記視差調整量を修正させる修正工程と、
    前記修正された視差調整量に基づいて視差が調整された立体画像を前記立体画像表示装置のディスプレイサイズで該立体画像表示装置に表示させる表示制御工程と、
    を備えた立体画像再生方法。
JP2012521373A 2010-06-25 2011-05-12 立体画像再生装置、立体画像再生システム及び立体画像再生方法 Expired - Fee Related JP5546633B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012521373A JP5546633B2 (ja) 2010-06-25 2011-05-12 立体画像再生装置、立体画像再生システム及び立体画像再生方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010145104 2010-06-25
JP2010145104 2010-06-25
JP2010268129 2010-12-01
JP2010268129 2010-12-01
JP2012521373A JP5546633B2 (ja) 2010-06-25 2011-05-12 立体画像再生装置、立体画像再生システム及び立体画像再生方法
PCT/JP2011/060930 WO2011162037A1 (ja) 2010-06-25 2011-05-12 立体画像再生装置、立体画像再生システム及び立体画像再生方法

Publications (2)

Publication Number Publication Date
JPWO2011162037A1 JPWO2011162037A1 (ja) 2013-08-19
JP5546633B2 true JP5546633B2 (ja) 2014-07-09

Family

ID=45371238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012521373A Expired - Fee Related JP5546633B2 (ja) 2010-06-25 2011-05-12 立体画像再生装置、立体画像再生システム及び立体画像再生方法

Country Status (4)

Country Link
US (1) US8866881B2 (ja)
JP (1) JP5546633B2 (ja)
CN (1) CN102959973B (ja)
WO (1) WO2011162037A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5556493B2 (ja) * 2010-08-10 2014-07-23 株式会社ニコン 表示装置、表示方法およびプログラム
CN103069814B (zh) 2010-08-10 2016-05-11 株式会社尼康 图像处理装置、图像处理方法、显示装置、显示方法及程序
JP5010022B2 (ja) * 2010-10-28 2012-08-29 シャープ株式会社 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置
JP5302285B2 (ja) 2010-10-28 2013-10-02 シャープ株式会社 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
US9402065B2 (en) 2011-09-29 2016-07-26 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
JP2013197797A (ja) * 2012-03-19 2013-09-30 Seiko Epson Corp 映像表示装置および映像表示方法
CN104093013B (zh) * 2014-06-25 2016-05-11 中国科学院遥感与数字地球研究所 一种立体视觉三维可视化系统中自动调节图像视差的方法
US10561304B2 (en) 2015-06-24 2020-02-18 Sony Olympus Medical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program
CN108282599B (zh) * 2017-01-04 2020-09-04 深圳市巨烽显示科技有限公司 一种3d显示器以及内窥镜辅助诊断系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004207772A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、記録方法、及び伝送方法
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142166A (ja) * 1999-09-15 2001-05-25 Sharp Corp 3dカメラ
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
WO2004030377A1 (ja) 2002-09-27 2004-04-08 Sharp Kabushiki Kaisha 立体画像表示装置、記録方法、及び伝送方法
JP4490074B2 (ja) 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
CN101505433A (zh) * 2009-03-13 2009-08-12 四川大学 一种实拍实显多镜头数码立体系统
JP5497758B2 (ja) * 2009-06-26 2014-05-21 パナソニック株式会社 立体視画像表示装置
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
CN101666915B (zh) * 2009-09-17 2014-03-12 曹嘉灿 一种自由立体显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004207772A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、記録方法、及び伝送方法
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法

Also Published As

Publication number Publication date
US8866881B2 (en) 2014-10-21
JPWO2011162037A1 (ja) 2013-08-19
US20130094833A1 (en) 2013-04-18
CN102959973A (zh) 2013-03-06
WO2011162037A1 (ja) 2011-12-29
CN102959973B (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5546633B2 (ja) 立体画像再生装置、立体画像再生システム及び立体画像再生方法
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US8254668B2 (en) Method and apparatus for processing three-dimensional images
JP6002043B2 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
US9161016B2 (en) Image processing apparatus, imaging apparatus, reproduction apparatus, and image processing method for processing zoom in 3D imaging
JP2011071898A (ja) 立体映像表示装置および立体映像表示方法
US20090244258A1 (en) Stereoscopic display apparatus, stereoscopic display method, and program
US20090244262A1 (en) Image processing apparatus, image display apparatus, imaging apparatus, and image processing method
US20130050416A1 (en) Video processing apparatus and video processing method
US9369699B2 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
CN103609104A (zh) 用于立体效应调整的交互式用户接口
JP5562122B2 (ja) 画像処理装置及びその制御方法
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
US20130127843A1 (en) Display apparatus and display method thereof
JP5501150B2 (ja) 表示装置及びその制御方法
JP2015056796A (ja) 立体画像処理装置、撮像装置、立体画像処理方法および立体画像処理プログラム
JP2013005061A (ja) 画像生成装置及び表示制御装置及びそれらの制御方法、及び撮像装置
JP2015029215A (ja) 立体画像処理装置
JP2011082649A (ja) 画像生成装置、画像生成方法、および、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140513

R150 Certificate of patent or registration of utility model

Ref document number: 5546633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees