JP5325255B2 - 立体画像表示装置、立体画像表示方法および立体画像表示プログラム - Google Patents

立体画像表示装置、立体画像表示方法および立体画像表示プログラム Download PDF

Info

Publication number
JP5325255B2
JP5325255B2 JP2011081302A JP2011081302A JP5325255B2 JP 5325255 B2 JP5325255 B2 JP 5325255B2 JP 2011081302 A JP2011081302 A JP 2011081302A JP 2011081302 A JP2011081302 A JP 2011081302A JP 5325255 B2 JP5325255 B2 JP 5325255B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic
stereoscopic image
images
planar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011081302A
Other languages
English (en)
Other versions
JP2012217057A (ja
Inventor
徹也 松本
啓 山路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011081302A priority Critical patent/JP5325255B2/ja
Priority to US13/402,358 priority patent/US20120249529A1/en
Priority to CN201210049954.2A priority patent/CN102740098B/zh
Publication of JP2012217057A publication Critical patent/JP2012217057A/ja
Application granted granted Critical
Publication of JP5325255B2 publication Critical patent/JP5325255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、複数の画像から生成された立体画像を表示する立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよびそのプログラムを記録した記録媒体に関する。
人間は、左右の目で異なる角度および異なる距離から対象物を見ることにより、左右の目において対象物の見え方に違いが表れることで対象の立体感を認識することが知られている。このような左右の目における対象物の空間的なずれを視差という。人間は、視差の程度により立体感を認識し、視差が大きい程画像が飛び出しているように感じる。
人間が立体感を認識する原理を利用して、平面画像(2次元画像)を立体的な画像として人間に認識させる方法が従来から提案されている。例えば、異なる角度から同一の被写体を撮影して右目用画像と左目用画像とを取得し、右目用画像を右目に表示させ、左目用画像を左目に表示させる方法がある。異なる角度から同一の被写体を撮影した右目用画像と左目用画像とには視差があるため、このように画像を表示させると人間は被写体の立体的な画像を見ていると認識する。以下、人間にとって立体的に見えるように表示された平面画像を立体画像という。
右目用画像を右目に表示させ、左目用画像を左目に表示させることで立体画像とするための方法は色々あるが、代表的なものとしてパララックスバリア方式やレンチキュラー方式等がある。これらの方式は、左目用画像と右目用画像とのそれぞれを画像を垂直方向に短冊状に分解し、同一画面上に交互に並べて1枚の画像とする。パララックスバリア方式は、短冊状のスリットを通してこの画像を見ることにより、左目からは左目用画像のみが見え、右目からは右目用画像のみが見える。レンチキュラー方式は、画像を表示する画面上に設けられたレンチキュラーレンズにより左右の目から見える画像を制限して、左目からは左目用画像のみが見え、右目からは右目用画像のみが見える。また、レンチキュラーレンズを用いた同様の原理により、立体画像をプリントする立体プリントも提案されている。
人間は、視差により立体感を認識するため、視差を調整することにより立体感を調整することができる。例えば、パララックスバリア方式やレンチキュラーレンズ方式においては、画面上に表示される左目用画像と右目用画像とを互いに重ならない方向にずらして表示することで、左目用画像と右目用画像との視差が増加し、人間が認識する立体感が増加する。特許文献1には、立体映像の視差を任意に調整することが可能なディジタル放送受信機が開示されている。
このような方法により立体視可能な右目用画像と左目用画像とを取得するため、立体写真撮影モードを備えるカメラ等が提案されている。また、特許文献2や特許文献3には、複数の画像の中から、立体視可能な右目用画像および左目用画像として用いることができる画像を自動的に選択する装置が開示されている。立体視可能な右目用画像と左目用画像との組み合わせは、立体画像データとして関連付けて保存される。
特開2000−78615号公報 特開2008−172342号公報 特開2004−104330号公報
ところで、近年は、デジタルカメラによって撮影した画像のプリントを注文する場合
に、注文者は、表示装置に表示される画像を見ながら目的の画像を選択してプリントを注文することが多い。平面画像データのプリントを注文する場合は、プリントする画像の選択を行い、プリントするサイズの選択を行って、プリントされる範囲の確認をして注文する。一方、立体画像データをプリントする場合は、上記平面画像データをプリント注文する際の選択に加え、平面画像としてプリントするか立体画像としてプリントするかの選択が必要となる。さらに、平面画像としてプリントする場合は、左目用画像、右目用画像のどちらをプリントするか選択する必要がある。また、立体画像としてプリントする場合は、プリントされる立体画像の立体感を選択する必要がある。すなわち、立体画像データのプリントを注文する場合は、平面画像データのプリントを注文する場合に比べ、選択すべき事項が多く、手間を要するという問題がある。特に、プリントされる立体画像の立体感については、注文者が自らの目で確認してから注文することが望ましい。
しかしながら、特許文献1に記載のディジタル放送受信機は、立体画像の視差を調整することはできるが、視差を変えた場合にどのような立体感の立体画像となるか確認することはできない。また、特許文献2および特許文献3に記載の装置は、立体視に適した画像を選択するのみであり、選択された画像対によって生成される画像が操作者にとって望ましい立体感を有する立体画像となるかは分からない。
本発明は、上記事実に鑑みてなされたものであり、ユーザが所望の立体感を有する立体画像を容易に選択することが可能な立体画像を表示することができる立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよびそのプログラムを記録した記録媒体を提供することを目的とする。
上記目的を達成するために、本発明に係る立体画像表示方法は、撮影された2枚の平面画像を1組として、当該1組の平面画像から1枚の立体画像が構成され、構成された立体画像を複数枚表示する立体画像表示方法であって、前記複数枚表示される立体画像は、互いに飛び出し量が異なるものが一覧表示され、前記複数枚表示される立体画像において、撮影対象の少なくとも一部が共通していることを特徴とする。
上記目的を達成するために、本発明に係る立体画像表示装置は、撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を表示する立体画像表示手段と、飛び出し量を変化させた複数の前記立体画像を前記立体画像表示手段に一覧表示させる表示制御手段と、を具備する。
ここで、立体画像表示手段は、裸眼で立体視可能な表示手段だけではなく、偏光板によって構成されるメガネ等を閲覧者が装着することで立体視可能となる表示手段も含む概念である。また、立体画像とは完全に立体的な画像のことではなく、閲覧者が立体的だと認識するように表示された平面画像のことである。また、立体画像内の全ての物体が閲覧者にとって立体的に見える必要はなく、少なくとも一部が立体的に見えれば良い。
また、撮影対象の少なくとも一部が共通する複数の平面画像とは、立体画像表示手段により立体表示すると少なくとも一部が立体的に見える画像である。具体的には、撮影対象の少なくとも一部が共通し、背景等も含めた構図がほぼ同一の画像である。
また、一覧表示とは、複数の縮小画像を同時に表示することも意味するが、全ての縮小画像が同時に表示される場合だけではなく、表示される画像を順次、例えばスクロール等によって順次切り替える場合も含む概念である。
また、本発明に係る立体画像表示装置は、記憶媒体に記憶された複数の平面画像の中から、組み合わせることにより前記立体画像表示手段によって立体画像として表示可能な平面画像を抽出する画像抽出手段をさらに具備し、前記表示制御手段は、前記画像抽出手段によって抽出された平面画像の組み合わせを変えることによって前記立体画像の飛び出し量を変化させ、様々な平面画像の組み合わせから生成した立体画像を前記立体画像表示手段に一覧表示させることが好ましい。
このようにすると、記憶媒体に記憶されている画像の中から自動で立体視に適した画像を抽出することができるため、閲覧者が意図しない組み合わせの画像を抽出できる可能性がある。また、それらの画像から生成される立体画像を比較することで、閲覧者は所望の立体画像を選択することができる。
また、上記表示制御手段は、上記立体画像表示手段における上記平面画像の表示位置を変化させることにより上記立体画像の飛び出し量を変化させても良い。
このようにすると、平面画像の視差を変えることができ、平面画像の組み合わせは同一でも様々な飛び出し量を有する立体画像を生成することができる。
また、上記表示制御手段は、複数の上記立体画像と共に、上記立体画像を構成する複数の平面画像を平面画像として表示させ、上記立体画像および上記平面画像を一覧表示させることが好ましい。
このように表示すると、閲覧者は立体画像と平面画像とを比較しながら所望の画像を選択することができる。
上記画像抽出手段は、ファイル形式、画像解析または平面画像のタグ情報に基づいて予め設定された特定の条件を満たす上記平面画像を抽出することが好ましい。
ファイル形式、画像解析または平面画像のタグ情報に基づいて予め設定された特定の条件を満たす平面画像を抽出すると、効率良く立体視可能な画像を抽出することができる。
上記表示制御手段は、上記特定の条件に基づいて、より立体視に適していると判断された立体画像から順に一覧表示させることが好ましい。
このように表示すると、閲覧者は、立体視に適していると判断された画像から順に確認することができ、所望の画像を発見しやすい。
上記表示制御手段は、上記立体画像を生成する際にカットされる領域を上記立体画像と共に表示させることが好ましい。
このように表示すると、閲覧者は、立体画像を生成する際にカットされる領域を把握することができ、飛び出し量を変化させることに伴ってカットされる領域が変化することを認識することができる。
上記立体画像表示手段に同時に、または順次表示された、前記飛び出し量を変化させた前記複数の立体画像は、プリントのための選択に供されるために表示された立体画像であるのが好ましい。
さらに、前記立体画像表示手段に同時に、または順次表示された、前記飛び出し量を変化させた前記複数の立体画像の中から、プリントされる立体画像を選択する選択手段を有するのが好ましい。
また、上記表示制御手段は、上記プリントサイズ指定手段により指定されたプリントサイズに基づく大きさの枠を上記立体画像に重畳表示させることが好ましい。
このように表示すると、閲覧者は、プリントしたい所望の飛び出し量を持ち、所望の立体感のある立体画像を容易に選択でき、特に、プリントのために容易に選択できるし、さらに、実際にプリントされる領域を認識することができるため、意図しない範囲の画像がプリントされることを防止できる。
また、本発明は、撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を立体画像表示手段に表示する表示ステップと、前記表示ステップにおいて、互いに飛び出し量が異なる立体画像を一覧表示させる制御を行う制御ステップと、を手順としてコンピュータに行わせる立体画像表示プログラムとしても実施できる。
さらに、本発明は、上記立体画像表示プログラムを記録したコンピュータに読み取り可能な記録媒体としても実施できる。
本発明によれば、ユーザが所望の立体感を有する立体画像を容易に選択することができる立体画像を表示することができる。
右目から見た映像と左目から見た映像の例を示す図である。 (A)は、右目用画像と左目用画像を重ねて表示させた場合の飛び出し量を表す図、(B)は、右目用画像と左目用画像をずらして表示させた場合の飛び出し量を表す図、(C)は、右目用画像と左目用画像をさらにずらして表示させた場合の飛び出し量を表す図、(D)は、右目用画像および左目用画像の視差の程度が異なる場合の飛び出し量を表す図である。 本発明の実施の形態1に係る立体画像表示装置の機能ブロック図である。 表示部に表示される画像編集画面の例を示す図である。 選択画像表示領域に表示される画像の別の表示態様を示す図である。 選択画像表示領域に表示される立体画像の別の表示態様を示す図である。 選択画像表示領域に表示される立体画像のさらに別の表示態様を示す図である。 表示部に表示される画像編集画面の別の表示態様を示す図である。 表示部に表示される画像編集画面のさらに別の表示態様を示す図である。 本発明の実施の形態2に係る立体画像表示装置の機能ブロック図である。 実施の形態2に係る立体画像表示装置の表示部に表示される画像編集画面の例を示す図である。 3枚以上の立体視可能画像群に含まれる画像を示す図である。 3枚以上の立体視可能画像群を選択した場合に選択画像表示領域に表示される画像の一例を示す図である。 選択画像表示領域に表示される立体画像を構成する平面画像の組み合わせを数字で表した図である。 (A)異なる平面画像の組み合わせにより生成され一覧表示された立体画像から1枚の立体画像が選択された場合を示す図、(B)立体画像が選択された後に表示される画面を表した図である。 ユーザが任意で2枚の画像を選択して立体画像を生成する場合に表示される編集画面を表す図である。
以下に、本発明に係る立体画像表示装置、立体画像表示方法、及び立体画像表示プログラムを添付の図面示す好適な実施の形態に基づいて詳細に説明する。
まず、立体画像について説明する。
図1は、右目から見た映像と左目から見た映像との例を示す図である。図1に示すように、縦に並んだ立方体6a〜立方体6cを人間2が見た場合を考える。立方体6a〜立方体6cを見た人間2の左目には映像4Lが見え、右目には映像4Rが見える。映像4Lおよび映像4Rの見え方は、人間2と立方体6a〜立方体6cとの距離に依存して変わり、人間に近い位置にある物ほど左右の目からの見え方が異なり、視差が大きい。この場合においては、立方体6aの視差が最も大きい。人間は、このように左右の目から異なる映像を見て脳内で合成することにより立体感を認識しており、視差が大きい物体ほど手前に存在するように認識する。逆に、人間の左目に対して映像4Lのような左目用画像を見せ、右目に対して映像4Rのような右目用画像を見せれば、人間は、3つの立方体が立体的に見えることになる。また、左目用画像と右目用画像との視差を調整することにより、人間が認識する立体感を調整することもできる。
左右の目に異なる画像を表示することで立体画像の表示を行う立体ディスプレイの原理について、上方から見た立体ディスプレイおよび人の視線を描いた図2(A)〜図2(D)を用いて説明する。立体ディスプレイ8には、右目用画像12および左目用画像14が表示されている。右目用画像12は、点24から観察している右目のみに表示される。左目用画像14は、点22から観察している左目のみに表示される。なお、本来は、立体ディスプレイ8上に右目用画像12および左目用画像14が表示されるため、立体ディスプレイ8、右目用画像12および左目用画像14は、図面縦方向のずれはないが、ここでは図を分かりやすくするために、立体ディスプレイ8、右目用画像12および左目用画像14を図面縦方向にずらして描いている。また、右目用画像12および左目用画像14を、図面上で縦方向に厚みを持たせて描いているが、本来は立体ディスプレイ8上に表示されるため、この厚みはない。
図2(A)において、立体ディスプレイ8には、右目用画像12および左目用画像14が図面左右方向のずれがなく表示されている。右目用画像12の画像上に、被写体の一点を表す点16が存在し、左目用画像14にも点16と同一の被写体の同一点を表す点18が存在する場合を考える。以下、点16と点14のように、右目用画像と左目用画像とにおいて、同一の被写体の同一点を表す点を対応点という。右目用画像12と左目用画像14とは、撮影時に同一の被写体を異なる角度から撮影した画像である。従って、右目用画像12と左目用画像14には視差があり、右目用画像12と左目用画像14とを完全に重ねて表示しても対応点の位置には左右方向のずれL0がある。
このように表示された立体ディスプレイ8を見た人間は、点18を見た左目の視線26と、点16を見た右目の視線28とが交わる点10の位置に、点16および点18が表す被写体の一点があるように知覚する。すなわち、点16および点18が表す被写体が、立体ディスプレイ8と点10との間の距離D0だけ立体ディスプレイ8から飛び出して見えることになる。以下、このように立体ディスプレイ8から飛び出す距離を飛び出し量という。この場合の飛び出し量は、立体ディスプレイ8から点10との間の距離D0である。
このような立体ディスプレイ8において、右目用画像12と左目用画像14とを左右方向にずらして表示することにより視差の程度を変化させることができる。以下、右目用画像と左目用画像とを左右にずらす長さのことをずれ量という。右目用画像および左目用画像が完全に重なった場合がずれ量0である。人間は、視差により立体感を認識し、視差の程度はずれ量によって調整することができるため、右目用画像12と左目用画像14のずれ量を調整することにより立体画像の立体感(飛び出し量)を調節することができる。
図2(B)は、右目用画像12と左目用画像14を距離Lz1だけずらして表示させた場合の飛び出し量を表す図である。図2(B)は、図2(A)に対して、右目用画像12を左側(矢印13方向)に移動させ、左目用画像14を右側(矢印15方向)に移動させることで、右目用画像12と左目用画像14とのずれをLz1としている。この場合、点16と点18との間の距離がL1(=L0+Lz1)となる。このような場合において、人間は、点18を見た左目の視線32と、点16を見た右目の視線34とが交わる点20の位置に点16および点18が表す被写体が存在するように錯覚する。立体ディスプレイ8と点20との間の距離はD1(>D0)であるため、この場合の被写体の飛び出し量はD1となる。
図2(C)は、右目用画像12と左目用画像14を距離Lz2(>Lz1)だけずらして表示させた場合の飛び出し量を表す図である。図2(C)は、図2(B)に対して、右目用画像12を左側(矢印13方向)にさらに移動させ、左目用画像14を右側(矢印15方向)にさらに移動させることで、右目用画像12と左目用画像14とのずれをLz2としている。この場合、点16と点18との間の距離がL2(=L0+Lz2)となる。このような場合において、人間は、点18を見た左目の視線36と、点16を見た右目の視線38とが交わる点30の位置に点16および点18が表す被写体が存在するように錯覚する。立体ディスプレイ8と点30との間の距離はD2(>D1)であるため、この場合の被写体の飛び出し量はD2となる。すなわち、ずれ量を変化させることで、立体ディスプレイ8を見る人間が認識する飛び出し量を変化させることができる。また、右目用画像12と左目用画像14とをずらして表示すると、右目用画像12と左目用画像14とが重なる領域が減少する。そのため、表示される立体画像は、左右方向の両端がカットされた画像となる。ずれ量が増加するほど立体画像のカットされる領域は大きくなる。
また、通常は、被写体に対して左右方向にずらした位置から撮影を行って右目用画像と左目用画像とを取得するが、それぞれの画像を撮影する位置をずらす距離を変えて撮影することにより、右目用画像と左目用画像との対応点の距離、すなわち視差の程度を変えることができる。視差の程度が変われば、立体ディスプレイ8に表示される立体画像の飛び出し量も変わる。図2(D)は、右目用画像および左目用画像の視差の程度が図2(A)と異なる場合における立体画像の飛び出し量を表す図である。図2(D)においても、図2(A)の場合と同様に、立体ディスプレイ8には、右目用画像および左目用画像が、図面左右方向のずれがなく表示されている。
図2(D)において、右目用画像42と左目用画像44との対応点46と対応点48との距離は、L3(>L0)となっている。このように表示された立体ディスプレイ8を見た人間は、点48を見た左目の視線52と、点46を見た右目の視線54とが交わる点40の位置に、点46および点48が表す被写体の一点があるように知覚する。この場合、点46および点48が表す被写体の飛び出し量は、D3(>D0)となる。すなわち、右目用画像と左目用画像が有する視差が大きいほど立体ディスプレイ8に表示される画像の飛び出し量が大きくなる。
このように、立体ディスプレイ8は、右目用画像および左目用画像の対応点が有する視差と、右目用画像および左目用画像のずれ量と、により、平面画像を立体画像として人間に知覚させる。また、図示しないが、同様の原理を用いることで、立体画像の奥行を表現し立体ディスプレイ8より奥に物体があると人間に知覚させることもできる。
しかし、ずれ量を大きくしすぎると、ユーザの目に対する負荷が過大となり、さらに、ずれ量を大きくすると、人間の目の構造上、立体視出来なくなる。設定可能なずれ量の範囲は、立体画像の横方向の長さ(右目用画像と左目用画像とをずらす方向の長さ)に依存し、画像サイズが大きいほど設定可能なずれ量の範囲は広い。
以上説明した立体ディスプレイ8の原理に示すように、ずれ量を変えることにより立体画像の飛び出し量を変化させることができる。これは立体画像をプリントする場合においても同様である。また、立体画像の見え方には個人差があり、立体画像の望ましい飛び出し量は、人によって異なる。そこで、本願発明者は、飛び出し量の異なる様々な立体画像を一覧表示させることにより、望ましい飛び出し量を有する立体画像を選択することができる立体画像表示装置を着想した。
なお、立体画像の飛び出し量は、右目用画像と左目用画像との視差の程度に依存するが、右目用画像および左目用画像における視差の程度は、画像中に存在する物体の奥行方向の位置によって異なる。具体的には、撮影時にカメラから近くにある物体ほど視差が大きくなり、カメラから遠くにある物体ほど視差が小さくなる。すなわち、1枚の立体画像には様々な飛び出し量の物体が含まれることになる。説明を容易にするため、以降の説明において飛び出し量とは、右目用画像と左目用画像とのずれ量を0とした場合に最もずれている対応点、すなわち最も手前にある被写体の対応点の飛び出し量を示すものとする。
以下、添付図面を参照しながら本発明の実施の形態について説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係る立体画像表示装置100の主要な構成を示した機能ブロック図である。立体画像表示装置100は、立体画像を表示する表示部112と、表示部112の表示を制御する表示制御部108と、表示制御部に接続される内部メモリ102およびメモリスロット104を有する。メモリスロット104には外部メモリ106が接続される。本実施の形態においては、立体画像表示装置100は、ユーザが画像のプリントを注文する際に用いられるものである。ユーザは、表示部112に表示される画像を見てプリントする画像を決定して注文を行う。
内部メモリ102は、立体画像の基となる左目用画像および右目用画像を記憶しておくメモリである。内部メモリ102として用いられる記憶媒体としては、画像を記憶して読出し可能なものであれば何でもよく、例えば、ハードディスクやRAM等を用いることができる。
メモリスロット104は、立体画像表示装置100と外部メモリ106とを電気的に接続するスロットである。メモリスロット104に外部メモリ106が接続されると、表示制御部108は、外部メモリ106に記憶されている画像等のデータを読み出すことができる。外部メモリ106として用いられる記憶媒体としては、画像を記憶して読出し可能なものであれば何でも良く、例えば、フレキシブルディスク、MO、CD−R、DVD―R、フラッシュメモリ等を用いることができる。
表示制御部108は、表示部112が要求する形式に画像データを変換して表示部112に出力することにより表示部112の表示を制御する。表示制御部108は、表示部112に表示される右目用画像および左目用画像のずれ量を調整することにより、立体画像の飛び出し量を調整する。右目用画像と左目用画像とのずれ量の調整は、右目用画像と左目用画像とを重ねた場合に、最もずれている対応点の間の距離を基準として行う。また、表示制御部108は、立体画像の表示サイズの変更も行う。表示制御部108は、CPUとCPUに各種処理を行わせる動作プログラムから構成される。この動作プログラムは、内部メモリ102に記憶される。
ユーザ入力部110は、ユーザが入力を行うための機器であり、例えばマウスやキーボード等である。
表示部112は、立体画像を表示することが可能な表示部である。表示部112は、表示制御部108から出力された画像を表示する。また、表示部112は、平面画像のみを表示すること、立体画像のみを表示すること、および立体画像と平面画像を混在させて表示することができる。立体画像の表示方法は、公知の任意の方式を用いることができるが、例えば、パララックスバリア方式を用いることができる。
立体画像表示装置100は、ユーザによって選択され、プリント注文された画像データを、ネットワーク等を介してプリンタへ出力する。
図4は、表示部112に表示される画像編集画面の一例を示した図である。この編集画面は、ユーザが画像のプリントを注文する場合に表示部112に表示される画面である。
表示部112の左部に位置する縮小画像表示領域120には、内部メモリ102または外部メモリ106に記憶されている複数の画像の縮小画像が表示されている。縮小画像表示領域120には、平面画像の縮小画像と立体画像の縮小画像とが混在して表示されている。内部メモリ102または外部メモリ106に記憶されている立体画像のデータは、右目用画像、左目用画像およびタグ情報が関連付けされて1つのデータとして記憶されている。タグ情報には、右目用画像および左目用画像の飛び出し量が記憶されている。縮小画像表示領域120に表示される立体画像は、予め記憶された飛び出し量で立体表示されている。
縮小画像表示領域120の右側にはスクロールバー124が表示される。スクロールバー124中には、図面上下方向に動かせるノブ122が表示されている。ユーザは、マウス等のユーザ入力部110を用いてノブ122の位置を図面の上下方向にドラッグすることにより、縮小画像表示領域120に表示される画像のスクロールを行う。この操作により、内部メモリ102または外部メモリ106に記憶されているが縮小画像表示領域120には表示されていない画像が、縮小画像表示領域120に順次表示される。ユーザは、例えばマウスを用いて縮小画像表示領域120に表示される縮小画像から拡大したい画像を選択する。選択された縮小画像の周囲にはカーソル126が表示される。なお、縮小画像表示領域120での画像の選択は、注文する画像を最終的に決定するものではない。
表示部112の中央部に位置する選択画像表示領域130には、縮小画像表示領域120内で選択された縮小画像、すなわちカーソル126によって囲まれた画像が拡大表示される。選択画像表示領域130に表示される画像の大きさは、元の大きさではないが、縮小画像表示領域120内に表示される縮小画像よりは大きい。縮小画像表示領域120内で選択された縮小画像が平面画像の場合は、選択画像表示領域130には、選択された平面画像が拡大表示される。
縮小画像表示領域120内で選択された縮小画像が立体画像の場合は、選択画像表示領域130には、選択された立体画像データから生成可能な平面画像および立体画像が一覧表示される。具体的には、選択画像表示領域130の上部には、選択された立体画像を構成する左目用画像132および右目用画像134が並べて表示される。左目用画像132および右目用画像134は、平面画像として表示される。左目用画像132および右目用画像134には、それぞれ枠132aまたは枠134aが重畳表示される。枠132aおよび枠134aは、その画像を指定されたプリントサイズでプリントした際にプリントされる領域を表す。
選択画像表示領域130の下部には、選択された立体画像のデータから生成可能な立体画像136、立体画像138および立体画像140が並べて表示される。立体画像13
6、立体画像138および立体画像140は、それぞれ異なる飛び出し量を有し、立体画像136の飛び出し量が最も小さく、立体画像140の飛び出し量が最も大きい。すなわち、選択画像表示領域130の左側に表示される立体画像ほど飛び出し量が小さく、右側に表示される画像ほど飛び出し量が大きい。選択画像表示領域130の下部には、スクロールバー142が表示されている。ユーザは、スクロールバー142内に表示されたノブ144の位置を図面上で左右方向にドラッグすることにより、選択画像表示領域130に表示されていない立体画像を選択画像表示領域130に表示させることができる。ノブ144を右側にドラッグするほど、飛び出し量が大きい立体画像が選択画僧表示領域130に表示される。
立体画像136の左右端部には、図中ハッチングで示されている暗部136bおよび暗部136cが表示される。同様に、立体画像138の左右端部には、暗部138bおよび暗部138cが表示され、立体画像140の左右端部には、暗部140bおよび暗部140cが表示される。これらの暗部は、右目用画像と左目用画像とをずらして表示して立体画像を生成することに伴い、元の画像からカットされている領域の大きさを表す。立体画像を生成する際にカットされる領域は、立体画像の飛び出し量を大きくするほど、すなわち右目用画像と左目用画像とのずれ量を大きくするほど大きくなる。従って、図4の選択画像表示領域130に表示されている立体画像においては、暗部136bおよび暗部136cが最も小さく、暗部140bおよび暗部140cが最も大きい。立体画像136、立体画像138および立体画像140上にそれぞれ重畳表示される枠136a、枠138aまたは枠140aは、その立体画像をプリントした際にプリントされる領域を表す。立体画像をプリントする際は、立体画像を生成する際にカットされない領域かつ、指定のアスペクト比を満たす領域がプリントされる。従って、枠136a、枠138aおよび枠140aは、暗部ではない領域内で、指定のアスペクト比によって表示される。飛び出し量が大きいほど暗部も大きいため、同一サイズでプリントした場合においても、飛び出し量が大きい立体画像ほど狭い領域が拡大されてプリントされる。
このように、左目用画像132、右目用画像134および様々な飛び出し量の立体画像が選択画像表示領域130に一覧表示されるため、ユーザは、所望の画像を選択することができる。具体的には、平面画像と立体画像が一覧表示されるため、ユーザは、平面画像をプリントするか立体画像をプリントするかを比較して決定することができる。さらに、平面画像を選択する場合は、左目用画像と右目用画像の内、望ましい方の画像を選択することができる。例えば、左目用画像を選択すれば、左目用画像をプリント注文することができる。また、様々な飛び出し量の立体画像が一覧表示されるため、ユーザは、立体画像の飛び出し量を比較して決定することができる。また、飛び出し量の変化に伴いカットされる両端の領域も識別表示されるため、ユーザは、飛び出し量の変化に伴い画像がどの程度カットされるかを認識することができる。
なお、表示されている立体画像で選択された飛び出し量を次の立体画像の飛び出し量として適用しても良い。例えば、図3においてユーザが立体画像136を選択したとする。次に、縮小画像表示領域120内で別の立体画像が選択された場合は、飛び出し量を立体画像136と同じ飛び出し量とした立体画像を、立体画像の中心の位置、すなわち立体画像138の位置に表示させる。具体的な処理としては、選択された立体画像136と対応点の距離を同一にした立体画像を立体画像138の位置に表示させる。立体画像136および立体画像140の位置には、立体画像138の位置に表示された立体画像に対して、それぞれ飛び出し量を減少または増加させた立体画像を表示させる。このような処理により、別の立体画像においてユーザが望ましいと判断した飛び出し量を基準として飛び出し量を増加または減少させた画像を一覧表示させることができるため、ユーザの意図に合った飛び出し量の画像を一覧表示させることができる。また、表示されている立体画像において選択された飛び出し量を、他にプリントする立体画像の全てに適用しても良い。この場合、プリントされる立体画像の飛び出し量は全て同一となる。
表示部112の右部には、拡大ボタン146、縮小ボタン148、矢印ボタン150、プリントサイズ選択ボタン152a〜152cが表示される。拡大ボタン146および縮小ボタン148は、選択された画像の拡大または縮小を行うためのボタンである。ユーザは、例えば、マウスを用いて拡大ボタン146を選択すると、選択画像表示領域130内に表示される画像の拡大を行うことができる。また、縮小ボタン148を選択すると、選択画像表示領域130内に表示される画像の縮小を行うことができる。矢印ボタン150は、カーソル126等の移動を行うためのボタンである。例えば、右矢印が描かれているボタンを選択すると、カーソル126が右に移動し、別の画像が選択される。プリントサイズ選択ボタン152a〜152cは、プリントするサイズを選択するボタンである。プリントサイズ選択ボタン152a〜152cには、それぞれプリントされるサイズを表す記号、文字等が描かれている。例えば、Lと描かれているプリントサイズ選択ボタン152aは、Lサイズのプリントを注文することを表す。
表示部112の下部には、戻るボタン154および次へボタン156が表示される。戻るボタン154を押すと、表示部112に表示される画面を1つ上の階層の画面に戻すことができる。1つ上の階層の画面とは、例えば、画像データを読みだすメモリの選択の画面である。次へボタン156を押すと、表示部112に表示される画面を1つ下の階層の画面にすることができる。1つ下の階層の画面とは、例えば、選択画像表示領域130内で選択された画像をプリントする注文を確定する画面である。
図5は、選択画像表示領域130に表示される画像の別の表示態様を示す図である。図5において、図4と異なるのは選択画像表示領域130に表示される画像である。そのため、選択画像表示領域130以外の部分についての説明は省略する。図4においては、平面画像および立体画像と共にプリントされる範囲を示す枠を表示することにより、プリントされる範囲を識別して表示している。図5においては、平面画像および立体画像と共にプリントされる範囲を示す枠を表示する点は、図4と同じだが、プリントされる範囲外の領域、すなわち表示される枠より外の領域は表示しない点が異なる。つまり、プリントされない領域は初めから表示しないことにより、ユーザに誤解を与えないことを意図している。立体画像においては、飛び出し量の増加に伴いプリントされる領域は狭くなるため、右側に表示される画像ほど小さく表示される。
図6は、選択画像表示領域130に表示される立体画像の別の表示態様を示す図である。図4および図5においては、飛び出し量を変えた3種類の立体画像を同時に表示させたが、図6においては立体画像158のみを表示させる。図6においては、同時に1種類の飛び出し量の立体画像のみが表示されるが、飛び出し量はユーザが任意で変更できるものとする。具体的には、立体画像158の下部に表示されるバー160とノブ162を用いて飛び出し量を変更する。バー160の左右方向の長さは飛び出し量を調整できる範囲を表し、ノブ162の位置は現在の飛び出し量を表す。ノブ162の位置を変更すると、バー160に対するノブ162の位置に合った飛び出し量によって立体画像158は表示される。例えば、ノブ162の位置をバー160の右端に位置させると、立体画像158は最大の飛び出し量によって表示される。すなわち、ユーザは、マウス等を用いてノブ162の位置を変更することにより立体画像158の飛び出し量を任意で変更することができる。そのため、意図に合った飛び出し量を選択することができる。
図7は、選択画像表示領域130に表示される立体画像の別の表示態様を示す図である。図7においても、図6と同様に同時に1種類の飛び出し量の立体画像のみが表示されるが、この表示態様では立体画像の飛び出し量を時間によって変化させる。例えば、飛び出し量が異なる立体画像136、立体画像138および立体画像140を3秒間隔で切り替えて同位置に表示させる。つまり、立体画像の飛び出し量は3段階で時間変化する。このように同じ位置において立体画像の飛び出し量を時間変化させる表示態様とすると、ユーザにとって飛び出し量の変化が分かりやすい。
図6および図7を用いて説明したように、1枚の立体画像を表示させ、任意または自動で飛び出し量を変化させる表示態様とすると、立体画像を表示するスペースは1枚分で良いため、複数枚の立体画像を一覧表示する表示態様に比べて表示スペースを削減することができる。
以上説明したように、本発明の実施の形態1に係る立体画像表示装置100によれば、平面画像と様々な飛び出し量を有する複数の立体画像とを一覧表示したため、ユーザは、所望の平面画像または所望の立体感を有する立体画像をユーザが選択することができる。
なお、立体ディスプレイ8において立体画像の拡大または縮小を行うと、対応点の距離が変化するため飛び出し量も変化する。同様に、プリントされるサイズによって立体画像の飛び出し量は変化し、小さくプリントされるほど飛び出し量は減少する。そのため、プリントされるサイズが小さい場合に、ユーザが選択した飛び出し量では立体画像の飛び出し量が小さすぎて立体的に見えない場合がある。
このようなことを防ぐために、例えば、図8のような表示態様とすることが考えられる。図8は、表示部112に表示される画像編集画面の別の表示態様を示す図である。カーソル126によって縮小画像が選択された後、選択画像表示領域130内の画像が選択されずにカーソル164によってプリントサイズが選択されたとする。
選択画像表示領域130には、選択されたプリントサイズでプリントされた場合に、ユーザにとって立体的に見える飛び出し量を有する立体画像のみが表示される。例えば、図8においては、立体画像138および立体画像140は表示され、最も飛び出し量が小さい立体画像136は表示されない。従って、立体画像136は選択できない。すなわち、この表示は、選択されたプリントサイズで立体画像136をプリントした場合、プリントされた立体画像は立体的に見えないことを表す。これにより、ユーザは、プリントサイズに適した飛び出し量を有する立体画像を選択することができる。
また、例えば、遠距離の被写体を撮影した場合等、立体画像データによっては、右目用画像と左目用画像との視差が少ない場合、すなわち、左目用画像と右目用画像とがほぼ同一の画像となる場合がある。この場合は、平面画像として右目用画像と左目用画像の双方を表示させる必要はなく、図8に示すように平面画像として左目用画像132のみを表示しても良い。具体的な処理としては、例えば、対応点の距離が特定の閾値より長い場合は右目用画像と左目用画像との双方を表示させる。
プリントサイズに適した飛び出し量をユーザに選択させるための表示部112の別の表示態様を図9に示す。まず、カーソル126によって縮小画像が選択された後、選択画像表示領域130内の立体画像136がユーザによって選択された場合を考える。選択された立体画像136の周囲には、カーソル166が表示される。選択画像表示領域130内において特定の飛び出し量を有する立体画像が選択されると、選択された飛び出し量の立体画像をプリントした場合に、立体的に見えないサイズを示すプリントサイズ選択ボタンはグレーアウト表示される。図9においては、立体画像136の飛び出し量でLサイズプリントを行うと立体感が得られないため、プリントサイズ選択ボタン152aがグレーで表示される。つまり、このグレーアウト表示は、このサイズでプリントを行うと立体的に見えないという警告を表す。ユーザは、この警告を無視してLサイズプリントを選択することもできる。図8および図9を用いて説明した各種処理は、プリントサイズと当該プリントサイズにおいて立体的に見える対応点の最短距離について予め定めたテーブルに基づいて行う。このテーブルは内部メモリ102に記憶される。
なお、本実施の形態において、立体画像の飛び出し量を時間変化させる間隔は3秒間隔でなくても良いし、飛び出し量の変化は3段階でなくてもよい。
(実施の形態2)
実施の形態1では、2枚の平面画像および当該2枚の平面画像から生成される様々な飛び出し量を有する立体画像を一覧表示する態様としたが、実施の形態2では、様々な平面画像の組み合わせから生成される様々な飛び出し量を有する立体画像を一覧表示する。
図10は、本発明の実施の形態2に係る立体画像表示装置200の主要な構成を示した機能ブロック図である。なお、立体画像表示装置200と同一の構成要素には同一の符号を付し、その説明を省略する。
立体視可能画像抽出部202は、内部メモリ102または外部メモリ106に記憶されている画像の中から、2枚組み合わせることで立体視可能な画像を抽出する。具体的な抽出方法は後述するが、立体視可能画像抽出部202は、特定の条件を満たす画像を抽出する。この特定の条件に基づく抽出の処理は、ユーザによって選択されたメモリに含まれる全ての画像に対して行う。
2枚組み合わせることで立体視可能な画像とは、同一の被写体を似た構図で撮影した画像である。立体視可能な画像を抽出する特定の条件とは、例えば、MPF(マルチピクチャーフォーマット)ファイルに含まれる画像群である。MPFファイルには、複数の平面画像が関連付けられて同一ファイルとして記憶されている。このファイル形式は、主に立体視可能な平面画像を関連付けて記憶する場合に用いられる。従って、MPFファイルに含まれる平面画像の組み合わせは、立体視可能な画像の組み合わせである可能性が高い。例えば、2眼カメラを用いて2枚の画像を撮影した場合は、2枚の画像が関連付けられ、MPFファイルとして記憶される。また、カメラを被写体の左右方向に移動させながら同一の被写体について2枚以上の撮影を行った画像群もMPFファイルとして記憶されることがある。従って、ファイル形式に基づいて画像群を抽出すれば、それらのうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。
立体視可能な画像を抽出する特定の条件の別例として、撮影間隔が近い画像群を抽出する方法がある。近年のデジタルカメラは、撮影毎にタグ情報として撮影日時、秒まで記憶している。一般的に、撮影間隔が数秒以内の画像は、同一の被写体を撮影している場合が多い。従って、タグ情報に基づいて撮影間隔が数秒以内の画像を抽出すれば、それらの画像のうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。例えば、撮影間隔が2秒以内の画像を抽出する。
立体視可能な画像を抽出する特定の条件の別例として、被写体とその構図が共通する画像を抽出する方法がある。この場合は、画像の解析を行い、同一被写体を似た構図で撮影しているかを判別する。同一被写体を似た構図で撮影している画像を抽出すれば、それらの画像のうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。
立体視可能な画像を抽出する特定の条件の別例として、GPS(Global Positioning System)による位置情報を利用することが考えられる。GPS機能を有するデジタルカメラで撮影すると、タグ情報にはGPSに基づく位置情報が記録される。一般に位置情報が非常に近い画像は、同一の被写体を撮影している可能性が高い。従って、GPSに基づく位置情報が非常に近い画像を抽出すると、それらの画像のうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。位置情報が近い画像とは、GPSの精度にもよるが、例えば位置情報の差が2メートル以内の画像である。
立体視可能な画像を抽出する特定の条件の別例として、連射機能で連続して撮影した画像群を抽出することが考えられる。連射機能で連続して撮影した画像群は、タグ情報に連射機能によって撮影されたことが記録されるため、タグ情報に基づいて抽出することができる。連射機能で連続して撮影した画像群は、同一の被写体を撮影している可能性が高い。従って、タグ情報に基づいて連射機能で連続して撮影した画像を抽出すると、それらの画像のうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。また、連射機能により撮影した画像群は撮影間隔も近い。
立体視可能な画像を抽出する特定の条件の別例として、動画を構成する静止画像群を抽出することが考えられる。デジカメで撮影した動画は静止画の集合である。動画撮影においては、同一の被写体を撮影する場合が多いため、動画を構成する静止画像群は同一の被写体を撮影している可能性が高い。従って、動画を構成する静止画像を抽出すると、それらの画像のうち2枚の画像を組み合わせることにより立体画像を生成できる可能性が高い。動画か静止画かはファイル形式によって判別することができる。
これらの立体視可能な画像を抽出する特定の条件は、単独で用いても良いし組み合わせて用いても良い。例えば、撮影間隔が近い画像という条件と、被写体とその構図が共通している画像という条件とを組み合わせると、撮影間隔が2秒以内で被写体とその構図が共通している画像群を抽出する。
表示制御部204は、表示制御部108の機能に加え、立体視可能画像抽出部202によって抽出された画像を後述の方法により表示部112に表示させる。立体視可能画像抽出部202および表示制御部204は、CPUとCPUに各種処理を行わせる動作プログラムから構成される。この動作プログラムは、内部メモリ102に記憶される。
図11は、実施の形態2において表示部112に表示される画像編集画面の一例を示した図である。なお、図4と同一の要素には同一の符号を付し、その説明を省略する。
縮小画像表示領域120には、内部メモリ102または外部メモリ106に記憶されている画像データを3種類に分類して縮小画像により識別表示される。この3種類の画像データとは、立体画像を生成可能な画像データが存在しない単独の画像データ、立体画像を生成可能な画像データが2枚抽出された画像データ、および立体画像を生成可能な画像データが3枚以上抽出された画像データの3種類である。すなわち、縮小画像表示領域120には、上記3種類の各々の画像データに基づく縮小画像が混在して表示される。画像データの分類は、立体視可能な画像の抽出結果に基づいて立体視可能画像抽出部202が行う。
3種類に分類された画像データは、縮小画像においても種類が識別できるように表示される。具体的には、立体画像を生成可能な画像データを表す縮小画像の右下には、3Dと記載されたラベルが重畳表示される。一方、立体画像を生成可能な画像データが存在しない画像データ、すなわち平面画像データを表す縮小画像には何も表示されない。
また、立体画像を生成可能な画像データを表す縮小画像の表示態様には2種類ある。縮小画像210は、1枚の画像の縮小画像が表示されている。縮小画像210は、立体視可能画像抽出部202によって抽出された2枚の平面画像データを含むことを表す。縮小画像212は、複数の縮小画像が重ねて表示されている。縮小画像212は、立体視可能画像抽出部202によって抽出された3枚以上の平面画像データを含むことを表す。
立体視可能画像抽出部202によって抽出される2枚の平面画像としては、例えば、MPFファイルに含まれる右目用画像および左目用画像である。縮小画像210がカーソル126によって選択されると、選択画像表示領域130には、図4における選択画像表示領域130のように、縮小画像210に含まれる平面画像およびそれらの平面画像から生成される様々な飛び出し量を有する立体画像が一覧表示される。
縮小画像212には、図12に示すように、平面画像216a〜平面画像216hの8枚の平面画像が含まれているとする。
カーソル126によって縮小画像212が選択された場合に選択画像表示領域130に表示される画像の一例について図13に示す。図13においては、図11と異なる箇所のみ説明を行う。
選択画像表示領域130には、縮小画像212に含まれる平面画像から生成される立体画像220a〜立体画像220iが一覧表示される。立体画像220a〜立体画像220iは、縮小画像212に含まれる平面画像216a〜平面画像216hをそれぞれ異なる組み合わせで組み合わせて生成されている。具体的には、縮小画像212に含まれる8種類の平面画像について2画像毎に画像解析を行い、立体画像の生成に適した画像セットを複数抽出し、抽出した画像セットから生成される立体画像を選択画像表示領域130に一覧表示する。
図14は、選択画像表示領域130に表示される立体画像を構成する平面画像の組み合わせを図12と対応させた数字で表した図である。図14は、例えば、立体画像220aは、平面画像216aと平面画像216cとの組み合わせにより構成されることを表す。また、立体画像220bは、平面画像216aと平面画像216dとの組み合わせにより構成されることを表す。立体画像220a〜立体画像220iは、それぞれ異なる組み合わせの2枚の平面画像から構成されているため、それぞれ異なる飛び出し量を有する。
このように選択画像表示領域130には、様々な組み合わせにより平面画像を組み合わせて生成した立体画像が一覧表示されるため、ユーザは、多くの平面画像の中から様々な組み合わせを行うという作業をすることなく意図に合った立体画像を選択することができる。
異なる平面画像の組み合わせにより生成され一覧表示された立体画像から図15(A)に示すように画像220gが選択された場合に表示される画面を図15(B)に示す。選択画像表示領域130には、図15(B)に示すように、画像220gを構成する左目用画像222、右目用画像224、および様々な飛び出し量の立体画像226〜立体画像230が一覧表示される。この表示画面においては、図4に示す画面と同様に、ユーザは、選択した立体画像を構成する平面画像または望ましい飛び出し量を有する画像のうち、所望の画像を選択することができる。
以上説明したように、本発明の実施の形態2に係る立体画像表示装置200によれば、メモリに記憶されている複数の画像の中から立体視可能な画像を自動で抽出する構成となっている。また、自動で抽出した平面画像を様々な組み合わせにより立体画像として一覧表示している。これによりユーザは、様々な平面画像の組み合わせにより生成され、異なる飛び出し量を有する立体画像の中から、所望の立体画像を選択することができる。
なお、本実施の形態の説明に用いた各図においては、説明を容易にするため、プリントサイズ選択ボタンを表示させていないが、実施の形態1と同様に表示させても良い。
また、本実施の形態においても、実施の形態1と同様に、選択された立体画像の飛び出し量では、立体視に適さないと判断されるプリントサイズ選択ボタンは、表示を異ならせても良い。
また、本実施の形態の説明に用いた各図においては、説明を容易にするため、プリントサイズに基づくアスペクト比を有する枠を立体画像上に重畳表示させなかったが、実施の形態1と同様に重畳表示させても良い。
また、本実施の形態においても、実施の形態1と同様に、選択されたプリントサイズに基づいて、立体視に適さないと判断される飛び出し量を有する立体画像は表示させないようにしても良い。
なお、本実施の形態において、自動で抽出した画像群を異なる組み合わせで立体画像として一覧表示する場合は、より立体視に適していると判断された画像セットに基づく立体画像から順に表示することが望ましい。順に表示する位置は、例えば、縦に3画像、横に3画像の合計9画像を同時に表示する場合は、左上の位置に最も立体視に適していると判断された立体画像が表示され、右下の位置に9番目に立体視に適していると判断された立体画像が表示される。さらに、表示されている立体画像をスクロールすることで、10番目以降に立体視に適していると判断された立体画像が順に表示される。
この場合の画像セットが立体視に適しているか否かという判断は、上記特定の条件に基づいて行う。例えば、撮影間隔が近い画像群という条件により画像の抽出を行う場合は、より撮影間隔が近い画像のセットほど立体視に適していると判別する。被写体とその構図が共通する画像という条件により画像の抽出を行う場合は、画像解析により対応点のずれ量を判別し、被写体のみ視差があり、背景には視差がない画像セットほど立体視に適していると判断する。位置情報が近いという条件により画像の抽出を行う場合は、位置情報がより近い画像セットほど立体視に適していると判断する。また、撮影時刻が早い順に立体画像を並べても良いし、飛び出し量が大きい順、すなわち対応点のずれ量が大きい順に立体画像を並べても良い。撮影時刻順に並べる場合は、画像セットのうち、撮影時刻が早い方の画像を基準に並べる。
また、本実施の形態においては、立体画像を構成する画像セットを自動で組み合わせたが、ユーザが任意で組み合わせ可能としても良い。例えば、縮小画像212が選択された場合、図12のように選択画像表示領域130に縮小画像212に含まれる平面画像を一覧表示し、ユーザが2枚の平面画像を任意で選択可能とする。選択された2枚の平面画像から生成される立体画像は、選択画像表示領域130内に表示する。これにより、ユーザは、自分が選択した2枚の平面画像から生成される立体画像を確認することができる。
また、上述のように、ユーザが2枚の平面画像を任意で選択して立体画像を生成する場合、図16に示すように、ユーザが選択した1枚目の画像に対して組み合わせるとより望ましい立体画像となる平面画像を識別表示しても良い。図16においては、ユーザが立体画像を構成する1枚目の画像として平面画像216aを選択したとする。選択された平面画像216aの周囲にはカーソル232が表れる。平面画像216aが選択されると、平面画像216aと組み合わせて望ましい立体画像が生成できる平面画像の周囲に破線で示すカーソルが表れる。ここでは、平面画像216aが選択されると、平面画像216dの周囲には破線で示すカーソル234dが表示され、平面画像216fの周囲には破線で示すカーソル234fが表示され、平面画像216gの周囲には破線で示すカーソル234gが表示される。すなわち、図16においては、平面画像216d、平面画像216fおよび平面画像216gが、平面画像216aと組み合わせることで望ましい立体画像となる。ここで、選択された平面画像と組み合わせることで望ましい立体画像となるか否かの判断は、上述の特定の条件に基づいて行われる。例えば、これらの平面画像を抽出した際の条件をより厳しい条件とした場合に抽出される平面画像の周囲に破線で示すカーソルを表示する。具体的には、撮影間隔が近いという条件に基づいて、撮影間隔が2秒以内という条件でこれらの8枚の平面画像が抽出された場合、選択された平面画像に対して撮影間隔が1秒以内の画像の周囲に破線で示すカーソルを表示する。
または、これらの平面画像を抽出した際の条件とは別の条件により望ましい立体画像となるか否か判断しても良い。例えば、撮影間隔が近いという条件に基づいて、撮影間隔が2秒以内という条件でこれらの8枚の平面画像が抽出された場合、選択された平面画像に対して位置情報が1メートル以内である画像の周囲に破線で示すカーソルを表示する。
選択された平面画像216aに対して、さらに別の平面画像が選択されると、それらの画像セットにより生成される立体画像236が選択画像表示領域130の下部に表示される。
なお、上記各実施の形態において、表示部112は外付けのディスプレイでも良いし、表示部にタッチパネル等の入力デバイスを設けても良い。表示部112は、平面画像と立体画像とを混在させて表示できる表示装置が望ましいが、平面画像を表示するか、立体画像を表示するかいずれか一方のみを選択可能な表示装置であっても良い。その場合は、表示部には立体画像を表示させ、右目用画像を表示する箇所には、同一の右目用画像から生成した立体画像を表示させる。左目用画像を表示する箇所には、同一の左目用画像から生成した立体画像を表示させる。このようにすると、表示部が平面画像と立体画像を混在させて表示することが不可能なものであったとしても、左目用画像および右目用画像を平面画像として表示させることができる。
なお、上記各実施の形態において、一覧表示される画像の数は、一例を示したものであり、ここで説明した数より多くても少なくても良い。また、一覧表示される画像の数をユーザが任意で決定できるようにしても良い。
なお、上記各実施の形態において、各表示画面において、1枚の画像のみを選択する必要はなく、例えば、左目用画像と立体画像といった2枚の画像を選択してプリントを指定しても良い。
なお、上記各実施の形態において、飛び出し量の調整はバーとノブの組み合わせによって行ったが、飛び出し量の調整に用いるインターフェースはこれに限られない。例えば、+−のボタン、数値の直接入力、大中小をドロップダウンリストから選択等の態様が考えられる。
なお、上記各実施の形態においては、2枚の平面画像から立体画像を生成する場合を例にとって説明したが、さらに多くの平面画像から立体画像を生成する場合においても、本発明を適用することができる。例えば、8枚の平面画像から立体画像を生成する場合は、メモリに記憶されている画像から8つ以上の平面画像を抽出する。
なお、上記各実施の形態において行われる表示部112への立体画像の表示は、撮影対象の少なくとも一部が共通する2以上の平面画像を、それらの少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識されるように表示して立体画像を立体画像表示手段に表示するステップと、立体画像表示手段に表示される立体画像の飛び出し量を変化させるステップと、飛び出し量を変化させた複数の記立体画像を前記立体画像表示手段に一覧表示させるステップと、を具備する立体画像表示方法として実施することができる。
また、本発明の各実施の形態について説明した立体画像表示装置の各機能に対応して、コンピュータを動作させる立体画像表示プログラムも、また、上記立体画像表示方法の各ステップを手順としてコンピュータに実行させる立体画像表示プログラムも、本発明の実施の形態の1つである。また、そのようなプログラムを記録したコンピュータ読み取り可能な記憶媒体も、本発明の実施の形態の1つである。
なお、以上に説明した本発明に係る種々の実施の形態は、本発明の一例を示すものであり、本発明の構成を限定するものではない。本発明に係る立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよびそのプログラムを記録した記録媒体は、上記実施の形態に限定されず、本発明の目的を逸脱しない範囲で種々変更して実施することが可能である。
本発明に係る立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよびそのプログラムを記録した記録媒体は、立体画像を編集し、ユーザに、所望の飛び出し量を持ち、所望の立体感を有する立体画像を容易に選択させる場合に用いることができる。
100、200 立体画像表示装置
102 内部メモリ
106 外部メモリ
108、204 表示制御部
110 ユーザ入力部
112 表示部
202 立体画像抽出部

Claims (18)

  1. 撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を表示する立体画像表示手段と、
    飛び出し量を変化させた複数の前記立体画像を前記立体画像表示手段に一覧表示させる表示制御手段と、
    記憶媒体に記憶された複数の平面画像の中から、組み合わせることにより前記立体画像表示手段によって立体画像として表示可能な平面画像を抽出する画像抽出手段と、具備し、
    前記表示制御手段は、
    前記画像抽出手段によって抽出された平面画像の組み合わせを変えることによって前記立体画像の飛び出し量を変化させ、様々な平面画像の組み合わせから生成した立体画像を前記立体画像表示手段に一覧表示させることを特徴とする立体画像表示装置。
  2. 撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を表示する立体画像表示手段と、
    飛び出し量を変化させた複数の前記立体画像を前記立体画像表示手段に一覧表示させる表示制御手段と、
    前記複数の平面画像のうち立体画像を構成する2つの平面画像を選択する平面画像選択手段と、を具備し、
    前記表示制御手段は、
    前記平面画像選択手段によって一方の平面画像が選択された際、前記一方の平面画像に対して組み合わせると望ましい立体画像となる他方の平面画像を識別表示することを特徴とする立体画像表示装置。
  3. 前記複数の平面画像の中から、組み合わせることにより前記立体画像表示手段によって立体画像として表示可能な平面画像を抽出する画像抽出手段を更に具備し、
    前記画像抽出手段は、
    ファイル形式、画像解析または平面画像のタグ情報に基づいて予め設定された特定の条件を満たす前記平面画像を抽出し、
    前記表示制御手段は、
    前記特定の条件に基づいて前記画像抽出手段により抽出された前記他方の平面画像を識別表示することを特徴とする請求項2に記載の立体画像表示装置。
  4. 前記表示制御手段は、
    前記立体画像表示手段における前記平面画像の表示位置を変化させることにより前記立体画像の飛び出し量を変化させる請求項1乃至3のいずれか1項に記載の立体画像表示装置。
  5. 前記表示制御手段は、
    複数の前記立体画像と共に、前記立体画像を構成する複数の平面画像を平面画像として表示させ、前記立体画像および前記平面画像を一覧表示させる請求項4に記載の立体画像表示装置。
  6. 前記画像抽出手段は、
    ファイル形式、画像解析または平面画像のタグ情報に基づいて予め設定された特定の条件を満たす前記平面画像を抽出する請求項1に記載の立体画像表示装置。
  7. 前記表示制御手段は、
    前記特定の条件に基づいて、より立体視に適していると判断された立体画像から順に一覧表示させる請求項6に記載の立体画像表示装置。
  8. 前記タグ情報には、前記タグ情報に関連付けされて1つのデータとして記憶された右目用画像および左目用画像に基づく立体画像の飛び出し量、撮影日時分秒、GPS(Global Positioning System)に基づく位置情報、および連射機能によって撮影されたことの少なくとも1つが含まれ、
    前記特定の条件は、複数の平面画像が関連付けられて同一ファイルとして記憶されたMPF(マルチピクチャーフォーマット)ファイルに含まれる画像群を抽出すること、撮影間隔が近い画像群を抽出すること、被写体とその構図が共通する画像を抽出すること、GPSによる位置情報を利用すること、連射機能で連続して撮影した画像群を抽出すること、および動画を構成する静止画像群を抽出することの少なくとも1つ、またはこれらの組み合わせである請求項3、6および7のいずれか1項に記載の立体画像表示装置。
  9. 前記表示制御手段は、
    前記立体画像を生成する際にカットされる領域を前記立体画像と共に表示させる請求項乃至のいずれか1項に記載の立体画像表示装置。
  10. 前記立体画像表示手段に表示された、前記飛び出し量を変化させた前記複数の立体画像は、プリントのための選択に供されるために表示された立体画像である請求項乃至のいずれか1項に記載の立体画像表示装置。
  11. さらに、前記立体画像表示手段に表示された、前記飛び出し量を変化させた前記複数の立体画像の中から、プリントされる立体画像を選択するプリント画像選択手段を有する請求項乃至10のいずれか1項に記載の立体画像表示装置。
  12. 画像をプリントするサイズを指定するプリントサイズ指定手段をさらに具備し、
    前記表示制御手段は、
    前記プリントサイズ指定手段により指定されたプリントサイズに基づくアスペクト比を有する枠を前記立体画像に重畳表示させる請求項乃至11のいずれか1項に記載の立体画像表示装置。
  13. 前記立体画像表示手段に表示された、前記飛び出し量を変化させた前記複数の立体画像の中から、プリントされる立体画像を選択するプリント画像選択手段と、
    前記選択手段によって選択された前記立体画像をプリントするサイズを指定するプリントサイズ指定手段とを更に有し、
    前記表示制御手段は、
    前記プリント画像記選択手段によって選択された前記立体画像を前記プリントサイズ指定手段によって指定されたプリントサイズにプリントした際、前記プリント画像選択手段によって選択された前記立体画像の前記飛び出し量では立体的に見えない場合に警告を行う請求項1乃至10のいずれか1項に記載の立体画像表示装置。
  14. 撮影された2枚の平面画像を1組として、当該1組の平面画像から1枚の立体画像が構成され、構成された立体画像を複数枚表示する立体画像表示方法であって
    記複数枚表示される立体画像において、撮影対象の少なくとも一部が共通しており、
    複数の平面画像の中から、組み合わせることにより前記立体画像として表示可能な平面画像を抽出し、
    抽出された前記平面画像の組み合わせを変えることによって前記立体画像の飛び出し量を変化させ、様々な平面画像の組み合わせから生成した互いに飛び出し量異なる立体画像を一覧表示することを特徴とする立体画像表示方法。
  15. 撮影された2枚の平面画像を1組として、当該1組の平面画像から1枚の立体画像が構成され、構成された立体画像を複数枚表示する立体画像表示方法であって
    記複数枚表示される立体画像において、撮影対象の少なくとも一部が共通しており、
    複数の平面画像の中から、組み合わせることにより前記立体画像として表示可能な2つの平面画像を選択し、
    一方の平面画像が選択された際、前記一方の平面画像に対して組み合わせると望ましい立体画像となる他方の平面画像を識別表示することを特徴とする立体画像表示方法。
  16. 撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を立体画像表示手段に表示する表示ステップと、
    記憶媒体に記憶された複数の平面画像の中から、組み合わせることにより前記立体画像表示手段によって立体画像として表示可能な平面画像を抽出する抽出ステップと、
    前記表示ステップにおいて、前記抽出ステップで抽出された前記平面画像の組み合わせを変えることによって前記立体画像の飛び出し量を変化させ、様々な平面画像の組み合わせから生成した互いに飛び出し量異なる立体画像を一覧表示させる制御を行う制御ステップと、を手順としてコンピュータに行わせる立体画像表示プログラム。
  17. 撮影対象の少なくとも一部が共通する複数の平面画像を表示することにより、前記平面画像の少なくとも一部が特定の飛び出し量を有する立体的な画像として閲覧者に認識される立体画像を立体画像表示手段に表示する表示ステップと、
    前記複数の平面画像のうち立体画像を構成する2つの平面画像を選択する平面画像選択ステップと、
    前記表示ステップにおいて、前記平面画像選択ステップで一方の平面画像が選択された際、前記一方の平面画像に対して組み合わせると望ましい立体画像となる他方の平面画像を識別表示させる制御を行う制御ステップと、を手順としてコンピュータに行わせる立体画像表示プログラム。
  18. 請求項16または17に記載の立体画像表示プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2011081302A 2011-03-31 2011-03-31 立体画像表示装置、立体画像表示方法および立体画像表示プログラム Active JP5325255B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011081302A JP5325255B2 (ja) 2011-03-31 2011-03-31 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
US13/402,358 US20120249529A1 (en) 2011-03-31 2012-02-22 3d image displaying apparatus, 3d image displaying method, and 3d image displaying program
CN201210049954.2A CN102740098B (zh) 2011-03-31 2012-02-29 3d图像显示设备、3d图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011081302A JP5325255B2 (ja) 2011-03-31 2011-03-31 立体画像表示装置、立体画像表示方法および立体画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2012217057A JP2012217057A (ja) 2012-11-08
JP5325255B2 true JP5325255B2 (ja) 2013-10-23

Family

ID=46926580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011081302A Active JP5325255B2 (ja) 2011-03-31 2011-03-31 立体画像表示装置、立体画像表示方法および立体画像表示プログラム

Country Status (3)

Country Link
US (1) US20120249529A1 (ja)
JP (1) JP5325255B2 (ja)
CN (1) CN102740098B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US8781237B2 (en) * 2012-08-14 2014-07-15 Sintai Optical (Shenzhen) Co., Ltd. 3D image processing methods and systems that decompose 3D image into left and right images and add information thereto
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP6125467B2 (ja) * 2014-06-16 2017-05-10 富士フイルム株式会社 プリント注文受付機とその作動方法および作動プログラム
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
JP7313706B2 (ja) * 2021-02-16 2023-07-25 株式会社サンセイアールアンドディ 遊技機

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4200717B2 (ja) * 2002-09-06 2008-12-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4115416B2 (ja) * 2004-03-25 2008-07-09 富士フイルム株式会社 画像処理方法、及び画像処理装置、及び画像処理システム、及び画像処理プログラム
US20050212914A1 (en) * 2004-03-25 2005-09-29 Fuji Photo Film Co., Ltd. Method, apparatus, system, and computer executable program for image processing
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
KR20120015165A (ko) * 2010-08-11 2012-02-21 엘지전자 주식회사 영상의 깊이감 조절 방법 및 이를 이용하는 이동 단말기

Also Published As

Publication number Publication date
CN102740098B (zh) 2015-07-01
CN102740098A (zh) 2012-10-17
US20120249529A1 (en) 2012-10-04
JP2012217057A (ja) 2012-11-08

Similar Documents

Publication Publication Date Title
JP5325255B2 (ja) 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
CA2917196C (en) Display control apparatus and computer-readable recording medium
US8872892B2 (en) Image processing apparatus and image processing method as well as image processing system for processing viewpoint images with parallax to synthesize a 3D image
EP2524511B1 (en) Method and system for adjusting depth values of objects in a three dimensional (3d) display
US9224232B2 (en) Stereoscopic image generation device, stereoscopic image display device, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium on which the program is recorded
US8421845B2 (en) Method, apparatus, and program for generating a stereoscopic layout image from a plurality of layout images
EP2107816A2 (en) Stereoscopic display apparatus, stereoscopic display method, and program
JP2014504074A (ja) 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
JP2006212056A (ja) 撮影装置及び立体画像生成装置
JP5723721B2 (ja) 立体画像編集装置および立体画像編集方法
JP4471979B2 (ja) 画像合成装置及び画像合成方法
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
JP2011082829A (ja) 画像生成装置、画像生成方法、および、プログラム
EP3038061A1 (en) Apparatus and method to display augmented reality data
JP5681588B2 (ja) 立体画像編集装置および立体画像編集方法
JP2012109911A (ja) 立体画像生成方法及びその装置
JP5501458B2 (ja) 立体画像表示装置、立体撮像装置、及び方法
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5121081B1 (ja) 立体画像表示装置
US9118901B2 (en) Imaging apparatus, imaging method and imaging system
JP6473872B2 (ja) 映像構築装置、擬似視覚体験システム、および映像構築プログラム
JP2012160058A (ja) 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
JP2014175702A (ja) 表示制御装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130719

R150 Certificate of patent or registration of utility model

Ref document number: 5325255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250