JP4758520B1 - 立体視映像表示装置、および立体視映像表示装置の動作方法 - Google Patents

立体視映像表示装置、および立体視映像表示装置の動作方法 Download PDF

Info

Publication number
JP4758520B1
JP4758520B1 JP2011046847A JP2011046847A JP4758520B1 JP 4758520 B1 JP4758520 B1 JP 4758520B1 JP 2011046847 A JP2011046847 A JP 2011046847A JP 2011046847 A JP2011046847 A JP 2011046847A JP 4758520 B1 JP4758520 B1 JP 4758520B1
Authority
JP
Japan
Prior art keywords
image
test image
viewer
image quality
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011046847A
Other languages
English (en)
Other versions
JP2012010309A (ja
Inventor
隆博 近澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011046847A priority Critical patent/JP4758520B1/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US13/582,646 priority patent/US20130002660A1/en
Priority to CN2011800123646A priority patent/CN102783164B/zh
Priority to BR112012022419A priority patent/BR112012022419A2/pt
Priority to RU2012142314/08A priority patent/RU2012142314A/ru
Priority to PCT/JP2011/055065 priority patent/WO2011108702A1/ja
Priority to MX2012010079A priority patent/MX2012010079A/es
Priority to EP11750811A priority patent/EP2544459A1/en
Application granted granted Critical
Publication of JP4758520B1 publication Critical patent/JP4758520B1/ja
Publication of JP2012010309A publication Critical patent/JP2012010309A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】人の視覚能力は左右で独立であるため、立体視コンテンツ映像を構成する右目用画像と左目用画像が(視差による違いとは別に)異なる画像として視認され、その結果上手く立体視できない可能性がある、という課題がある。
【解決手段】以上の課題解決のため、本発明は、実際の立体視映像の表示に先立って、同一オブジェクトを含む左目用と右目用のテスト用画像を比較的低速で交互に表示しつつ各画像を別々の画像として視聴者の左目と右目それぞれに視認させ視聴者に両画像内の同一オブジェクトが同じように見えるよう左右独立に画質調整の入力を受付ける。そしてその画質調整値を用いて、実際の立体視コンテンツ映像表示用の画像に対して画質調整を行う。
【選択図】図2

Description

本発明は、左目用画像と右目用画像で構成される立体視映像の表示に際して、視聴者の視覚特性や3D用メガネの光学特性などの左右ばらつきによって生じる左右の視感覚不均等を緩和するため、両画像の画質を適宜調整するための技術に関する。
人が空間の奥行きを認識し、視界内の物体について立体感を持って視認できるのは、左右の目の位置の違い(視点の違い)から生じる視野の微妙な差異、すなわち視差によるものである。そこで、従来、動画を含む二次元映像を立体視するための方法として、視点を微妙にずらし視差を生じさせた左目用と右目用の2枚の二次元画像を高速で交互に切換えながら表示し、液晶シャッターやレンチキュラレンズなどの道具を利用して左右それぞれの目に投影することで、脳内で1つの立体視映像として認識させる「視差分割方式」などが提供されている。例えば特許文献1では、この視差分割方式の1つである「レンチキュラ方式」による最適な立体視映像表示に関する技術が開示されている。
特開平06−289320号公報
ところで人の視覚能力は当然左右で独立であり、例えば左目の視力が右目の視力に比べて極端に低い、あるいは片目だけ色覚異常であるという具合に左右の目で視感覚が不均等である場合には、例えば右目用画像がくっきりと視認される一方で、左目用画像がぼんやりと視認されるなどの現象が生じることになる。すると、両画像が(視差で生じる違いとは別に)異なる画像として視認されてしまうため、その結果、上手く立体視できない可能性がある、という課題が生じる。
あるいは人の視覚能力が左右でほぼ同等であっても、3D用のメガネにおいてレンズの左右で例えば屈折率や色味が異なるなどの場合も同様に両画像が異なる画像として視認されてしまい、上記同様の課題が生じる。もちろん、人の視覚能力と3D用メガネの双方に左右ばらつきがあっても同様である。
以上の課題を解決するために、本発明は、実際の立体視映像の表示に先立って、同一オブジェクトを含む左目用と右目用のテスト用画像を比較的低速で交互に表示しつつ、実際の立体視映像の表示と同様に液晶シャッターなどを利用して各画像を別々の画像として視聴者の左目と右目それぞれに視認させる。そして視聴者に両画像内の同一オブジェクトが同じように見えるよう、それぞれの画像に対して独立した画質調整の入力を受付ける。そしてその受付けた画質調整用のパラメータ値を用いて、実際の立体視コンテンツ映像表示用の画像に対して左右独立に画質調整を行うことを特徴とする立体視映像表示装置を提供する。
具体的には、立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には同一オブジェクトを含む左テスト画像及び右テスト画像を取得する第一テスト画像取得部と、前記取得した左テスト画像と右テスト画像を、視聴者の眼に前の画像の残像が残らない程度のスピードで間欠的に交互に表示する第一画像交互表示部と、前記間欠的に交互に表示される左テスト画像に含まれる前記同一オブジェクトが右テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一左テスト画像調整受付部又は/及び、前記間欠的に交互に表示される右テスト画像に含まれる前記同一オブジェクトが左テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一右テスト画像調整受付部と、第一左テスト画像調整受付部又は/及び第一右テスト画像調整受付部にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第一画質補正部と、前記第一画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第一左右出力補正部と、を有する立体視映像表示装置である。
さらに詳細に、上記構成において前記第一テスト画像取得部は、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第一裸眼用テスト画像取得手段を有していても良い。あるいは前記第一テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第一メガネ用テスト画像取得手段を有していても良い。3Dメガネの1方式として、液晶シャッター方式があり、この方式では、映像毎に3Dメガネの右目用、左目用の液晶シャッターが交互に透過、遮光を繰り返す。この周期は、60Hzの映像信号の場合、120Hzまたはその倍の240Hzで行われる。
あるいは、本発明では、左目と右目で別々に入力され脳内で重畳して認識された際に視聴者の視感覚不均等を際立たせることができるような左右のテスト用画像(例えばSweep画像など)を用意する。そして、例えば実際の立体視映像の表示と同様に液晶シャッターなどを利用して、両画像を視聴者の左目と右目を通して一枚の画像として重畳認識させる。そして重畳認識された1枚の画像で際立ったオブジェクトの視感覚不均等を均等化するような画質調整値の入力を左右それぞれ独立して受付け、その受付けた画質調整用のパラメータ値を用いて、実際の立体視コンテンツ映像表示用の画像に対して左右独立に画質調整を行うことを特徴とする立体視映像表示装置も提供する。
具体的には、立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には右テスト画像と重畳することで視聴者の視感覚不均等を際立たせることができる左オブジェクトを含む左テスト画像及び少なくとも一部には左テスト画像と合成認識することで視聴者の視感覚不均等を際立たせることができる右オブジェクトを含む右テスト画像、を取得する第二テスト画像取得部と、前記取得した左テスト画像と右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように表示する第二画像表示部と、重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの左テスト画像の画質調整を受付ける第二左テスト画像調整受付部又は/及び、重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの右テスト画像の画質調整を受付ける第二右テスト画像調整受付部と、前記視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第二画質補正部と、前記第二画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第二左右出力補正部と、を有する立体視映像表示装置である。
さらに詳細に、上記構成において前記第二テスト画像取得部は、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第二裸眼用テスト画像取得手段を有していても良い。あるいは前記第二テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第二メガネ用テスト画像取得手段を有していても良い。
以上のような構成をとる本発明によって、左目用画像と右目用画像で構成される立体視映像の表示に際して、視聴者の左右視力のばらつきや3Dメガネの左右レンズのばらつきなどによって生じる左右の視感覚不均等を緩和することのできる画質調整用の適切なパラメータ値を左右独立に受付けることができる。したがって、例えば左右の目で視力差のあるユーザや左右で屈折率の異なるレンズの3Dメガネを装着したユーザなどに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
実施例1の立体視映像表示装置における立体視映像コンテンツの画質調整の一例を説明するための図 実施例1の立体視映像表示装置における機能ブロックの一例を表す図 実施例1の立体視映像表示装置で利用される左テスト画像及び右テスト画像の一例を表す図 実施例1の立体視映像表示装置で利用される左テスト画像及び右テスト画像の、別の一例を表す図 実施例1の立体視映像表示装置の第一左(右)テスト画像調整受付部を実現するGUIの一例を表す図 実施例1の立体視映像表示装置の第一左(右)テスト画像調整受付部で受付けた画質調整値の保持態様の一例を表す図 実施例1の立体視映像表示装置におけるハードウェア構成の一例を表す図 実施例1の立体視映像表示装置における処理の流れの一例を表すフローチャート 実施例1の立体視映像表示装置における処理の流れの一例のつづきを表すフローチャート 実施例2の立体視映像表示装置における機能ブロックの一例を表す図 実施例2の立体視映像表示装置で利用される左テスト画像及び右テスト画像の一例を表す図 実施例2の立体視映像表示装置で利用される左テスト画像及び右テスト画像の、別の一例を表す図 実施例2の立体視映像表示装置で利用される左テスト画像及び右テスト画像の、さらに別の一例を表す図 実施例2の立体視映像表示装置における処理の流れの一例を表すフローチャート 実施例2の立体視映像表示装置における処理の流れの一例のつづきを表すフローチャート 実施例1の立体視映像表示装置で利用される左テスト画像及び右テスト画像の、さらに別の一例を表す図 実施例1の立体視映像表示装置で利用される左テスト画像及び右テスト画像の、さらに別の一例を表す図 実施例3の立体視画像コンテンツ再生装置における立体視画像コンテンツの画質調整の一例を説明するための図 実施例3の立体視画像コンテンツ再生装置における機能ブロックの一例を表す図 実施例3の立体視画像コンテンツ再生装置の左目用画質調整部や右目用画質調整部における画質調整処理の一例を説明するための図 実施例3の立体視画像コンテンツ再生装置のユーザ別蓄積部で蓄積されているユーザ別の入力値の一例を表す図 実施例3の立体視画像コンテンツ再生装置におけるハードウェア構成の一例を表す図 実施例3の立体視画像コンテンツ再生装置における処理の流れの一例を表すフローチャート 実施例4の立体視画像コンテンツ再生装置における機能ブロックの一例を表す図 実施例4の立体視画像コンテンツ再生装置における一括ユーザ入力のための入力受付画面の一例を表す図 実施例4の立体視画像コンテンツ再生装置における処理の流れの一例を表すフローチャート
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例1は、主に請求項1から請求項9,および請求項21について説明する。また実施例2は、主に請求項10から請求項20、および請求項22について説明する。また、実施例3、4は、その他の実施例について説明する。
≪実施例1≫
<概要>
図1は、本実施例の立体視映像表示装置における立体視映像コンテンツの画質調整の一例を説明するための図である。まず、この図1(a)に示すように、同一のオブジェクトを含む左目用の左テスト画像と右目用の右テスト画像とを用意する。そして、その両画像を交互に表示し、また通常の立体視映像表示と同じように例えば液晶シャッターを利用してその交互表示される各画像を視聴者の左目と右目にそれぞれ視認させるようにする。ただし、交互表示の切換スピードに関しては、各画像が別々の画像として把握できる程度のゆっくりとしたスピードで切換える。すると、例えばユーザの左目の視力が「1.2」で右目の視力は「0.7」であった場合、図1(b)に示すように、視聴者にとって右テスト画像がぼやけた輪郭の画像として視認されることになる。
あるいは、例えば3Dメガネの右のレンズの屈折率が左のそれに比べて極端に低い場合などにも、同様に右テスト画像がぼやけた輪郭の画像として視聴者に視認されることになる。また、一方のレンズに細かな傷、曇りによって他方よりもぼやけた場合も同様である。そこで視聴者は、そのぼやけた右テスト画像の前後に表示される左テスト画像と比較しながら、例えばエッジ強調の画質調整操作を行うなどして図1(c)に示すように右テスト画像の画質調整を行う(あるいは逆に左テスト画像に対するぼやけ調整操作を受付けても良い)。そして、図1(d)に示すように、視聴者は両画像が同じように見えたことを確認すると、決定ボタンなどを押すなどしてその時点での画質調整値をメモリなどに保持させる。
その後、実際の立体視映像コンテンツの表示に際して、本実施例の立体視映像表示装置は、メモリに保持されている画質調整値を用いて、例えば右目用画像に対するエッジ強調処理などを行う。このようにして左右の目で視力が異なる視聴者に対して両画像を同じように視認させることができる。
<機能的構成>
図2は、本実施例の立体視映像表示装置における機能ブロックの一例を表す図である。なお、以下に記載する本装置やシステムの機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
そして、この図2にあるように、本実施例の「立体視映像表示装置」(0200)は、「第一テスト画像取得部」(0201)と、「第一画像交互表示部」(0202)と、「第一左テスト画像調整受付部」(0203)、又は/及び「第一右テスト画像調整受付部」(0204)と、「第一画質補正部」(0205)と、「第一左右出力補正部」(0206)と、を有する。
「第一テスト画像取得部」(0201)は、左テスト画像及び右テスト画像を取得する機能を有し、例えばCPUや主メモリ、I/O(インプット/アウトプット)ポートなどの各種入出力機構、第一テスト画像取得プログラムなどによって実現することができる。また、「左(右)テスト画像」とは、立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には同一オブジェクトを含む2つの画像をいう。
また、視聴者の見え方の左右ばらつきの原因としては、例えば視聴者の左右の視力が異なるなどの「視聴者の裸眼での視覚特性の左右ばらつき」や、3Dメガネの左右レンズでそれぞれ屈折率が異なるなどの「3Dメガネのレンズの特性や状態の左右ばらつき」などが挙げられ、そのような場合に3Dメガネを装着した状態で視感覚不均等が生じうる。
さらに具体的に「視覚特性の左右ばらつき」とは、例えば視聴者の左目と右目の視力が異なる、あるいはいずれかの目が色覚異常や乱視(または両目で程度の異なる色覚異常や乱視)などの状態が挙げられる。また「レンズの特性や状態の左右ばらつき」とは、例えばアッベ数が異なるなど光の屈折率が左右で異なる状態のほか、透過率や色味などの左右での相違、また片方のレンズの汚れや傷などによる相違などが挙げられる。
そして、前者の左右ばらつきを解消するために、この第一テスト画像取得部は、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第一裸眼用テスト画像取得手段を有していても良い。
また、後者の左右ばらつきを解消するために、この第一テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第一メガネ用テスト画像取得手段を有していても良い。なお、裸眼用の左/右テスト画像とメガネ用の左/右テスト画像とは、同様の画像で兼用することもできる。
図3は、この左テスト画像及び右テスト画像の一例を表す図である。この図にあるように、左テスト画像と右テスト画像は少なくともその一部に同一オブジェクトαを含むことを特徴とする。もちろん、両画像のすべてのオブジェクトが全く同一であっても良い。そして後述する構成によって交互に表示され視聴者の左右の目にそれぞれ別々に視認される両画像の同一オブジェクトは、例えば視力が左右で異なれば視力の弱い側ではぼんやりと視認されることになる。また、同一オブジェクトの色を左右で同じ赤色や緑色としておけば、色覚異常の視聴者には片方が異なった色で視認されることになる。あるいは、例えば3Dメガネの左右のレンズで屈折率が異なる場合や色味が異なる場合なども同様である。そこで視聴者は、その異なって視認される同一オブジェクトが同じに見えるように画質調整操作を行う、という具合である。
また左右のテスト画像は、図3に示すような通常の自然画像以外に、幾何模様などで表される画像であっても良い。例えば図4(a)に示すような徐々に線幅が変化する同一オブジェクトを含む漸次縞画像(いわゆるSweep画像)、あるいは図4(b)に示すような徐々に色が変化する同一オブジェクトを含む漸次色画像などが挙げられる。そして、図4(a)に示す漸次縞画像は縞の幅が画像周波数を示すので、後述する第一左(右)テスト画像調整受付部において同一に見えない縞を指定するよう構成することで、どこの画像周波数領域を調整したいかも指定したうえで画質調整を行うことができる。また、図4(b)に示す漸次色画像を利用すれば、後述する第一左(右)テスト画像調整受付部において同一に見えない色を指定するよう構成することで、どこの色範囲を調整したいかも指定したうえで画質調整を行うことができる。また、前記「漸次色画像」の別の一例として、図16に示すようなxy色度図を利用されても良い。このxy色度図によっても、上記図4(b)に示すような漸次色画像と同様に、同一に見えない色を指定して、どこの色範囲を調整したいかも指定したうえで画質調整を行うことができる。
あるいはその他の左右のテスト画像として、図17に示すような、その画像内のオブジェクトのRGB値のいずれか一又は二以上の階調が変化するRAMP画像も挙げられる。そして、このようなRAMP画像は画像のガンマ特性を示すので、後述する第一左(右)テスト画像調整受付部においてガンマ補正を行い左右の両画像が同一に見えるよう画質調整することができる。
また、この左右のテスト画像は、予め装置のHDDなどに保持しておいても良いし、適宜ネットワーク上のサーバ装置に保持され、そこからネットワークを介して取得するように構成しても良い。また、ユーザが任意のテスト画像を登録できるように構成しても良い。
「第一画像交互表示部」(0202)は、前記取得した左テスト画像と右テスト画像を、視聴者の眼に前の画像の残像が残らない程度のスピードで間欠的に交互に表示する機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、ディスプレイ装置、第一画像交互表示プログラムなどによって実現できる。なお、視聴者の眼に前の画像の残像が残らない程度のスピードとは、例えば1秒間といった具合に適宜設定されて構わない。あるいはそのスピードをユーザ設定可能に構成しても良い。そして、そのように交互に表示される左テスト画像と右テスト画像を、通常の立体視映像の表示と同じように液晶シャッターなどを利用して左右の目にそれぞれ分けて視認されるようする。すると、視聴者の眼に前の画像の残像が残らない程度のスピードで交互に表示されるため、左テスト画像は左目にて1枚の画像として視認され、また右テスト画像は右目にて別の1枚の画像として視認される、という具合である。
また、この第一画像交互表示部は、「第一メガネ同期画像交互表示手段」を有していても良い。「第一メガネ同期画像交互表示手段」は、視聴者の装着した3Dメガネがシャッター方式である場合に、そのシャッターの透過と遮光の切換周期に同期して、前記メガネ用の左テスト画像および右テスト画像を視聴者の眼に前の画像の残像が残らない程度のスピードで間欠的に交互に表示する機能を有する。このようにして3Dメガネを装着した視聴者に対し、正確に左右のテスト画像を左右それぞれの目に視認させることができる。
また左/右テスト画像は、例えば視差バリヤやレンチキュラレンズを利用して3Dメガネを使わずに視聴者の左右の裸眼に入力させる方法もある。その場合には、左テスト画像を短冊状に分割し、その短冊状の左テスト画像と、同様に短冊状の黒画像とを交互に並べて1枚の画像を生成する。また、右テスト画像も同様にして1枚の画像を生成する。そして視聴者の眼に前の画像の残像が残らない程度のスピードで、その生成した両画像を間欠的に交互に表示することで、視聴者が3Dメガネをつけない状態で左右の目にそれぞれの画像を分けて視認させることもできる。
「第一左テスト画像調整受付部」(0203)は、前記間欠的に交互に表示される左テスト画像に含まれる前記同一オブジェクトが右テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける機能を有し、例えばCPUや主メモリ、ディスプレイ装置、キーボードやマウスなどのユーザ入力デバイス、第一左テスト画像調整受付プログラムなどによって実現することができる。具体的に、例えば図5に示すように画面上に画質調整用のGUI(グラフィカル・ユーザ・インターフェース)βを表示し、ユーザ入力デバイスを利用して入力された画質調整値を受付ける、という具合である。また、ここで受付けた調整値は、後述する第一画質補正部の処理によって交互表示中の左テスト画像にリアルタイムに適用される。このようにして、調整後の左テスト画像を交互に表示される右テスト画像と比較して、両者が同じように見えるかを容易に確認することができる。
なお、画質調整処理の処理内容はエッジ強調処理に限定されず、例えば輝度強調処理やRGB値の調整処理など任意であって構わない。ただし、ここで行われる調整処理は、視覚特性の左右ばらつきによって片方がぼやける、あるいは違う色で見えるなど(異なった視差以外の点で)異なって視認される画像を同じに見えるようにするための画質調整であることが前提である。
「第一右テスト画像調整受付部」(0204)は、前記間欠的に交互に表示される右テスト画像に含まれる前記同一オブジェクトが左テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける機能を有する。なお、この第一右テスト画像調整受付部は、上記第一左テスト画像調整受付部と、受付ける調整の対象が左テスト画像か右テスト画像かが異なる点以外は、その機能や構成は基本的に同じであるためその説明は省略する。そして本実施例では、このように左右の画像に対して独立に画質補正をするための入力を受付けることを特徴とする。なお実際の画像調整処理においては、上記左右のテスト画像の双方に対する画質調整を受付けても良いし、片方のみ受付けても良い。また後者の場合、発明の構成要件としていずれか一方を省いても構わない。なぜならば、例えば視聴者の左目視力が弱い場合、左テスト画像を独立してエッジ強調するほかに、右テスト画像のぼかし処理を行っても両画像が同様に見えるよう画質補正をすることができるからである。
「第一画質補正部」(0205)は、第一左テスト画像調整受付部又は/及び第一右テスト画像調整受付部にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、第一画質補正プログラムなどによって実現できる。なお、前述のようにここで実行される画質調整処理は、エッジ強調処理や輝度調整処理、RGB値の調整処理など様々であって良い。また、その具体的な処理内容についても周知技術であるのでその説明は省略する。そして、本実施例の立体視映像表示装置では、第一左テスト画像調整受付部にて受付けた画質調整は左テスト画像に対して実行し、第一右テスト画像調整受付部にて受付けた画質調整は右テスト画像に対して実行する、という具合に左右独立に画質調整を受付け、実行することを特徴とする。
また前述のように、ここでの画質調整処理は、交互表示中の左右の各テスト画像に対してリアルタイムに適用されると良い。このようにして、調整後の例えば左テスト画像を交互に表示される右テスト画像と比較して、両者が同じように見えるかを容易に確認することができる。そして、最終的な左右それぞれの画質調整用のパラメータ値を、図6に示すように左右で区別してメモリなどに保持しておく、という具合である。
「第一左右出力補正部」(0206)は、第一画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、ディスプレイ装置、第一左右出力補正プログラムなどによって実現できる。具体的に、立体視コンテンツ映像は、視差を生じさせるように左目用と右目用で微妙に異なる2種類の画像の組で構成されている。したがって、この第一左右出力補正部では、図6に示すように保持されている左目用と右目用の画質調整用のパラメータ値を利用して、この立体視コンテンツ映像を構成する左目用画像と右目用画像に対してそれぞれ独立に画質調整を行う、という具合である。
また、立体視コンテンツ映像が録画コンテンツなど記録媒体に記録されているものであれば、その画質調整用のパラメータ値を管理情報としてコンテンツ映像データに付加する構成としても良い。あるいは、管理情報に基づいてコンテンツに対する画質調整を行った調整後のコンテンツを符号化し記録されるように構成しても良い。
以上のように、本実施例の立体視映像表示装置では、立体視コンテンツ映像の再生に先立って左右のテスト画像を交互にゆっくり表示することで、視聴者の見え方の左右ばらつきによって生じる左右の視感覚不均等を緩和することのできる画質調整用の適切なパラメータ値を左右独立に受付けることができる。そして、そのようにして受付けた画質調整値を利用して立体視コンテンツ映像を構成する左目用画像と右目用画像それぞれに対する画質補正を行うことができる。それにより左右の目で視力差のあるユーザや、左右のレンズで屈折率などが異なる3Dメガネを装着したユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
<その他の実施例>
また、本実施例の立体視映像表示装置は、以下のような構成を備えることで視聴者別に適切な画質調整用のパラメータ値を保持し、視聴者に応じた立体視コンテンツ映像の画質補正を行うことができるように構成しても良い。具体的に、本実施例の「立体視映像表示装置」は、前記説明した各構成要件に加えて「第一ユーザ別蓄積部」と「第一ユーザ識別情報入力受付部」を有するとともに、前記「第一左右出力補正部」が以下のような処理を行うことを特徴とする。
「第一ユーザ別蓄積部」は、ユーザを識別するためのユーザ識別情報と関連付けて左右の画質調整用の情報を蓄積する機能を有し、例えばフラッシュメモリやHDD(ハードディスクドライブ)、その他の記録媒体などで実現することができる。具体的には、例えば、前述の左右の画質調整用の情報の取得開始時や記憶時などに、ユーザ識別情報を取得するよう構成する。なお、その取得態様は特に限定しないが、例えばGUIなどを介してユーザに氏名などのユーザ識別情報を入力させる方法や、携帯電話をユーザ入力デバイスとして利用するなどユーザ別に入力デバイスがある場合には、当該携帯電話などの識別情報をユーザ識別情報として取得する方法が挙げられる。そして、このようにして取得したユーザ識別情報「Usr001」と、左右の画質調整用の情報「左のエッジ強度:+9」とを関連付けてフラッシュメモリなどに蓄積する、という具合である。
「第一ユーザ識別情報入力受付部」は、ユーザ識別情報の入力を受付ける機能を有し、例えばCPUや主メモリ、ディスプレイ装置、キーボードやマウスなどのユーザ入力デバイス、第一ユーザ識別情報入力受付プログラムなどによって実現することができる。具体的には、立体視コンテンツ映像の再生表示の前に、ディスプレイ上にユーザ氏名(ユーザ識別情報)の入力を受付けるGUIを表示したり、既に登録されているユーザ識別情報をプルダウンメニューやチェックリスト表示などによって選択させるGUIを表示したりする。あるいはユーザ別の入力デバイスがあれば、当該入力デバイスから送信される識別情報をユーザ識別情報として受付ける、という具合である。そして、第一左右出力補正部では、ここで受付けたユーザ識別情報を利用して第一ユーザ別蓄積部を検索し、当該ユーザ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行う、という具合である。
あるいは上記のような視聴者別ではなく、例えば装置メーカが提供する専用の3Dメガネと、サードパーティが提供する汎用の3Dメガネといった具合に、3Dメガネ別に適切な画質調整用のパラメータ値を保持し、装着する3Dメガネに応じた立体視コンテンツ映像の画質補正を行うことができるように構成しても良い。具体的に、本実施例の「立体視映像表示装置」は、前記説明した各構成要件に加えて「第一3Dメガネ別蓄積部」と「第一3Dメガネ識別情報取得部」を有するとともに、前記「第一左右出力補正部」がそれぞれ取得した3Dメガネ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする。なお、各構成の具体的な内容については、上記のユーザ識別情報が3Dメガネ識別情報に替わる以外は基本的に同じであるので、その説明は省略する。
また、視聴者の装着する3Dメガネが本実施例の立体視映像表示装置と近距離無線通信する機能を有していても良い。その場合第一3Dメガネ識別情報取得部は、3Dメガネが保持する3Dメガネ識別情報を当該近距離無線通信にて取得する構成としても良い。
<ハードウェア構成>
図7は、上記機能的な各構成要件をハードウェアとして実現した際の、立体視映像表示装置における構成の一例を表す概略図である。この図を利用して画質調整のためのパラメータ値取得処理、および画質補正処理などにおけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、立体視映像表示装置は、第一画質補正部や第一左右出力補正部、第一テスト画像取得部、あるいはその他の構成要件の演算に係る処理を実行するための「CPU」(0701)と、「主メモリ」(0702)と、を備えている。また各種データやプログラムを保持する「フラッシュメモリ」(0703)や、第一画像交互表示部を実現し、またその他の各種画像や情報を表示するための「VRAM」(0704)や「ディスプレイ」(0705)、第一左テスト画像調整受付部又は/及び第一右テスト画像調整受付部を実現する「ユーザ入力デバイス」(0706)なども備えている。また、外部機器と接続するための「外部機器接続回路」や「インターネット接続回路」なども備えていると良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
また、「主メモリ」にはプログラムが読み出され、「CPU」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
ここで、まず、本実施例の立体視映像表示装置を構築するため「フラッシュメモリ」に上記各構成要件の処理を実現するためのプログラムが書き込まれ記憶される。また、同一オブジェクトを含む図3や図4に示すような左テスト画像及び右テスト画像も「フラッシュメモリ」に記憶させて、本実施例の立体視映像表示装置が構築される。その後、「ユーザ入力デバイス」を介して画質調整用パラメータ値の設定開始を示す操作入力を受付けると、各種プログラムが「主メモリ」に読み出される。そして「CPU」は、まず、第一テスト画像取得プログラムを解釈し、その解釈結果にしたがって「フラッシュメモリ」から左テスト画像と右テスト画像を取得して「主メモリ」のアドレス1,・・・、2,・・・にそれぞれ格納する。つづいて「CPU」は第一画像交互表示プログラムを解釈し、その解釈結果にしたがって、例えば左テスト画像を「VRAM」に転送し「ディスプレイ」に表示させる。そして所定のタイミングで、ただし視聴者の眼に前の画像の残像が残らない程度のタイミングで、今度は他方の例えば右テスト画像を「VRAM」に転送し「ディスプレイ」に表示する。そして、上記処理を繰返し左テスト画像と右テスト画像を所定の切換タイミングで「ディスプレイ」上に交互表示する。なお、この交互表示の切換タイミングについては、予め第一画像交互表示プログラムにて設定されていても良いし、ユーザが設定するなどして「フラッシュメモリ」に保持されている値を切換タイミング値として利用するように構成しても良い。
また、「CPU」は第一左テスト画像調整受付プログラム、又は/及び第一右テスト画像調整受付プログラムを解釈し、その解釈結果に従って「ユーザ入力デバイス」からの画質調整値の入力待ち状態となる。またその際に、例えばエッジの強度や輝度、RGB値などを変更するためのGUI(例えばスライダーバーなど)を、交互表示中の左テスト画像や右テスト画像に重ねるなどして「ディスプレイ」に表示するように構成しても良い。そして視聴者は、例えば液晶シャッターメガネを利用して交互表示されている左テスト画像を左目で、また右テスト画像を右目で視認する。そしてゆっくり交互に表示されている両者を比較して見ながら、例えば左目の視力が弱く左テスト画像が右テスト画像よりぼんやりとしか見えないようであれば、上記GUIを利用し「ユーザ入力デバイス」を介して左テスト画像を指定し、そのエッジ強度を上げる操作入力を行う。あるいは逆に右テスト画像を指定したうえでエッジ強度調整用のスライダーバーをマイナスに移動させ、右テスト画像を左テスト画像と同様にぼんやりと見えるように調整しても良い。そして、入力された画質調整対象の指定情報とその画質調整値が、「主メモリ」のアドレス3、・・・に格納される。
つづいて「CPU」は第一画質補正プログラムを解釈し、その解釈結果にしたがって「主メモリ」のアドレス3に格納されている画質調整値を用いて、例えば左テスト画像に対してエッジ強調などの画質補正処理を実行する。そして、その画像を画質補正後の左テスト画像として「主メモリ」のアドレス4、・・・に格納し、以降の交互表示で左テスト画像を表示する際には、この画質補正後の左テスト画像(複数ある場合はたとえば最新の画像など)を利用して交互表示を行う。そして、視聴者から左テスト画像と右テスト画像に含まれる同一オブジェクトが同じに見えることを示す情報、例えば「ユーザ入力デバイス」を利用した決定操作の入力情報などを受付けると、その時点でのそれぞれのテスト画像に対する画質調整値が「フラッシュメモリ」に書き込まれ記憶される。また、画質調整用パラメータ値の設定開始を示す操作入力を受付ける際に、視聴者を識別するID情報を入力させていれば、その視聴者IDと関連付けて画質補正用のパラメータ値を「フラッシュメモリ」に記憶させると良い。
このようにして、視聴者の見え方の左右ばらつきによる視感覚不均等を解消するための左と右それぞれの画質補正用のパラメータ値を取得することができる。そして、その後に「ユーザ入力デバイス」を介して実際の立体視コンテンツ映像の再生表示開始を示す操作入力を受付けると、第一左右出力補正プログラムが「主メモリ」に読み出される。すると「CPU」は第一左右出力補正プログラムを解釈し、「フラッシュメモリ」に記憶されている左又は/及び右の画質補正用パラメータ値を「主メモリ」のアドレスの5、・・・に読み出して格納する。そして、立体視コンテンツ映像を構成する左目用画像、又は/及び右目用画像に対して、「主メモリ」のアドレスの5、・・・に格納されている画質補正用パラメータ値を利用した例えばエッジ強調処理などを行い、「VRAM」に転送する。そして「ディスプレイ」に出力し立体視映像を再生表示する、という具合である。またレンチキュラレンズを利用した立体視表示であれば、画質補正後の左目用画像と右目用画像を短冊状に切り分け、それを交互に配置して「VRAM」に転送し「ディスプレイ」に表示すると良い。
<処理の流れ>
図8及び図9は、本実施例の立体視映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図8にあるように、まず、少なくとも一部には同一オブジェクトを含む左テスト画像及び右テスト画像を例えばフラッシュメモリなどから取得し(ステップS0801)、前記取得した左テスト画像と右テスト画像を、視聴者の眼に前の画像の残像が残らない程度の所定のゆっくりしたスピードで間欠的に交互に表示する(ステップS0802)。つづいて、前記間欠的に交互に表示される左テスト画像に含まれる前記同一オブジェクトが右テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける(ステップS0803)。又は/及び前記間欠的に交互に表示される右テスト画像に含まれる前記同一オブジェクトが左テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける(ステップS0804)。そして、ステップS0803又は/及びステップS0804にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をする(ステップS0805)。そして、画質補正後の画像を利用して前記ステップS0802からの交互表示、および視聴者からの画質調整の受付を繰り返し、例えば視聴者の決定操作などによって示される最終的に受付けた画質調整値を記憶する(ステップS0806)。その後、図9に示すように立体視コンテンツ映像の再生表示に際して立体視コンテンツ映像を構成する左目用画像と右目用画像を取得する(ステップS0901)。そしてステップS0803又は/及びS0804で用いられ、ステップS0806で記憶された視聴者から受付けた画質調整に応じて左目用画像と右目用画像の画質補正を行い、ディスプレイに出力表示する(ステップS0902)。
<効果の簡単な説明>
以上のように、本実施例の立体視映像再生装置によって、立体視コンテンツ映像の再生に先立って左右のテスト画像を交互にゆっくり表示することで、例えば視力の左右ばらつきやレンズの屈折率の左右ばらつきなどを原因とする視聴者の見え方の左右ばらつきによって生じる左右の視感覚不均等を緩和することのできる画質調整用の適切なパラメータ値を左右独立に受付けることができる。そして、そのようにして受付けた画質調整値を利用して立体視コンテンツ映像を構成する左目用画像と右目用画像それぞれに対する画質補正を行うことができる。それにより左右の目で視力差のあるユーザや、左右のレンズの特性が異なる3Dメガネを装着したユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
また、このように左右の視感覚不均等を緩和することで、立体視映像コンテンツを視聴することによる眼の疲れや脳の疲れを抑える効果も期待できる。
≪実施例2≫
<概要>
本実施例も、上記実施例1と同様に事前に左右のテスト画像を交互に表示し、それを見て視聴者から入力された画質調整用の情報を利用して画質補正を行う立体視映像表示装置である。そして、上記実施例1との第一の相違点は、左右のテスト画像の表示形式が、両画像が重畳して一枚の画像として視聴者に視認されるような(例えば通常の立体視コンテンツ映像の表示と同様の)表示形式である点である。また第二の相違点は、そのような表示形式で左右のテスト画像が重畳し視聴者に合成認識された際に、その重畳テスト画像によって視聴者の視感覚不均等を際立たせることができるようなオブジェクトを左右のテスト画像が含んでいる点である。具体的には、例えば位相が逆のSweep画像(各幅の縞の白黒の配置が異なる縞画像)であれば、視聴者に合成認識される重畳テスト画像は線幅が同じ縞画像になる。しかし左テスト画像のSweep画像が右テスト画像と比較してはっきりと見えていなければ視聴者に合成認識される画像の線幅は同じにはならないため、そのことにより視聴者のいずれかの視力が弱いこと、あるいは3Dメガネの左右いずれかの屈折率が低いことなどを際立たせることができる、という具合である。
そして本実施例の立体視映像表示装置では上記特徴点を有することから、例えば上記例であれば合成認識される画像の線幅が同じとなるよう左テスト画像、又は/及び右テスト画像に対する画質調整を受付けて、その調整値を実際の立体視コンテンツ映像の表示に際しても利用することで、上記実施例1と同様の効果を奏することができる。
<機能的構成>
図10は、本実施例の立体視映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「立体視映像表示装置」(1000)は、「第二テスト画像取得部」(1001)と、「第二画像表示部」(1002)と、「第二左テスト画像調整受付部」(1003)、又は/及び「第二右テスト画像調整受付部」(1004)と、「第二画質補正部」(1005)と、「第二左右出力補正部」(1006)と、を有する。
「第二テスト画像取得部」(1001)は、立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために以下のような特徴を有する左テスト画像及び右テスト画像を取得する機能を有し、例えばCPUや主メモリ、I/Oポートなどの各種入出力機構、第二テスト画像取得プログラムなどによって実現することができる。そして「左テスト画像」とは、少なくとも一部には右テスト画像と重畳することで視聴者の視感覚不均等を際立たせることができる左オブジェクトを含む画像をいい、「右テスト画像」とは、その逆に少なくとも一部には左テスト画像と合成認識することで視聴者の視感覚不均等を際立たせることができる右オブジェクトを含む画像をいう。具体的には、例えば図11(a)に示すような中央上部または中央下部にライン画像を含む画像などが挙げられる。そして、この画像は1枚の絵として重畳認識された場合、一本の直線として認識される。ところが例えば視聴者の片側の視力が弱い場合やレンズの片方の屈折率が低い場合など、図11(b)に示すように左テスト画像側のライン(上側のライン)がぼやけて視認され、視聴者の視感覚不均等を際立たせることができる、という具合である。
また、この第二テスト画像取得部は、上記実施例1と同様に、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第二裸眼用テスト画像取得手段を有していても良い。あるいは第二テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第二メガネ用テスト画像取得手段を有していても良い。
また、この第二テスト取得部は分散模様テスト画像取得手段を有し、左テスト画像としてそれに含まれるオブジェクトが右テスト画像と互いに表示画面上で重複しないで補完しあう分散模様を有する画像を、また右テスト画像としてそれに含まれるオブジェクトが左テスト画像と互いに表示画面上で重複しないで補完しあう分散模様を有する画像を取得するよう構成しても良い。また、その分散模様としては、縞の線幅が徐々に変化する漸次縞が挙げられ、そのようなテスト画像としては、例えば図12(a)に示すような位相が逆のSweep画像などが挙げられる。このような位相が逆の2枚のSweep画像は、重畳認識された場合、図12(b)に示すような線幅が均等な縞画像として認識される。ところが、例えば視聴者の片側の視力が弱い場合、左テスト画像が右と比較してぼんやりとしか視認できず線幅が本来の幅と異なって視認されるため、左右のテスト画像の重畳テスト画像は線幅が等しくならない。そこで、このようにして際立たされた視聴者の視感覚不均等を調整するため、本実施例の立体視映像表示装置では後述する構成によって、線幅が均等な縞画像として認識されるよう左右独立の画質調整を視聴者から受付ける、という具合である。また、幅が不均等な同心円画像をテスト画像としても上記Sweep画像と同様の効果が得られる。
また、その他の分散模様としては、左テスト画像と右テスト画像の模様の色が互いに補色関係にあるような分散模様が挙げられ、例えば図13(a)に示すような色の配置のグラデーション画像などが挙げられる。すなわち、補色関係にある色は重畳するとグレーとして視認される。したがって、このような色の配置が補色関係にある2枚の画像は、重畳認識された場合、図13(b)に示すようなグレー画像として認識される。ところが、例えば視聴者の片側の視力が弱い場合や色覚異常がある場合、そちら側のテスト画像が本来よりも薄い色や異なった色で視認されてしまうため、両画像が重畳しても補色されずに色が残ることなる。そこで、このようにして際立たされた視聴者の視感覚不均等を調整するため、本実施例の立体視映像表示装置では後述する構成によって、色が残らずに全てグレーとして認識されるよう左右独立の画質調整を視聴者から受付ける、という具合である。
また、第二テスト画像取得部は、左テスト画像及び右テスト画像のオブジェクトとして、徐々に色が変化する同様の漸次色画像を取得する第二色画像取得手段を有していてもよい。このような画像が左右対称であれば、上記重畳した際に均一の色の画像として視認されることになる。しかし、例えば視聴者の片側の視力が弱い場合、そちら側のテスト画像が本来よりも薄い色などで視認されてしまうため、両画像が重畳しても均一な色にならないことになる。そこで、このようにして際立たされた視聴者の視感覚不均等を調整するため、本実施例の立体視映像表示装置では後述する構成によって、均一な色として認識されるよう左右独立の画質調整を視聴者から受付ける、という具合である。
あるいはその他の左右のテスト画像として、その画像内のオブジェクトのRGB値のいずれか一又は二以上の階調が変化するRAMP画像も挙げられる。そして、このようなRAMP画像も、上記重畳した際に本来であれば各画素が均一化され同じ階調(中央値)の均一画像として視認されることになる。そこで左右の視覚特性に差がある場合には均一画像として見えるよう左右の独立にガンマ値などの画質調整をすることができる。
「第二画像表示部」(1002)は、前記取得した左テスト画像と右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように表示する機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、ディスプレイ装置、第二画像表示プログラムなどによって実現できる。なお、重畳テスト画像として視聴者に視認させるための表示方法は特に限定しないが、例えば、この第二画像表示部では、120Hzで駆動表示するシステムであれば、1/120秒間隔で左右交互に切換えて表示する方法などが挙げられる。そして、そのように交互に表示される左テスト画像と右テスト画像を、通常の立体視映像の表示と同じように液晶シャッターなどを利用して左右の目にそれぞれ分けて視認されるようする。すると視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認され、その際に視聴者の左右の目でその視覚特性にばらつきがある場合、上記図10から図12などで示すように、その視聴者の視感覚不均等を際立たせることができるような画像として視聴者に認識される、という具合である。
また、この第二画像表示部は、「第二メガネ同期画像表示手段」を有していても良い。「第二メガネ同期画像表示手段」は、視聴者の装着した3Dメガネが液晶シャッターなどのシャッター方式である場合に、そのシャッターの透過と遮光の切換周期に同期して、前記メガネ用の左テスト画像および右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように表示する機能を有する。このようにして3Dメガネを装着した視聴者に対し、正確に左右のテスト画像を左右それぞれの目に入力させることができる。
また3Dメガネ(液晶シャッター)を用いる以外の立体視の方法として、例えば視差バリヤやレンチキュラレンズを利用して視聴者の左右の裸眼に左/右用の画像は入力させる方法(いわゆる裸眼立体視)もある。その場合この第二画像表示部は、左テスト画像と右テスト画像を短冊状に分割し、その短冊状の左テスト画像と右テスト画像を交互に並べて一枚の画像として表示すると良い。このようにして、3Dメガネを装着していない裸眼の視聴者に対し、その左右の眼からのテスト画像が一枚の重畳テスト画像として視認されるように表示することができる。
「第二左テスト画像調整受付部」(1003)は、重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの左テスト画像の画質調整を受付ける機能を有し、例えばCPUや主メモリ、ディスプレイ装置、キーボードやマウスなどのユーザ入力デバイス、第二左テスト画像調整受付プログラムなどによって実現することができる。具体的には、実施例1の第一左テスト画像調整受付部と同様に、画面上に画質調整用のGUIを表示し、ユーザ入力デバイスを利用して入力された画質調整値を受付ける、という具合である。また、ここで受付けた調整値による画質補正処理は重畳して認識されるよう表示中の左テスト画像にリアルタイムに適用されることで、視聴者は重畳テスト画像が、例えば均一色の画像や均一幅の縞画像に見えるように調整することができる。
なお、画質調整処理の処理内容は、エッジ強調処理や輝度強調処理、RGB値の調整処理など任意であって構わない。ただし、ここで行われる調整処理も、当然視聴者の視覚特性の左右ばらつきによって片方がぼやける、あるいは違う色で見えるなど(異なった視差以外の点で)異なって視認される画像を同じに見えるようにするための画質調整であることが前提である。
「第二右テスト画像調整受付部」(1004)は、重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの右テスト画像の画質調整を受付ける機能を有する。なお、この第二右テスト画像調整受付部は、上記第二左テスト画像調整受付部と、受付ける調整の対象が左テスト画像か右テスト画像かが異なる点以外は、その機能や構成は基本的に同じであるためその説明は省略する。そして本実施例では、上記実施例1と同様に、このように左右の画像に対して独立に画質補正をするための入力を受付けることを特徴とする。
「第二画質補正部」(1005)は、第二左テスト画像調整受付部又は/及び第二右テスト画像調整受付部にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、第二画質補正プログラムなどによって実現できる。なお、前述のようにここで実行される画質調整処理は、エッジ強調処理や輝度調整処理、RGB値の調整処理など様々であって良い。また、その具体的な処理内容についても周知技術であるのでその説明は省略する。そして、本実施例の立体視映像表示装置では、第二左テスト画像調整受付部にて受付けた画質調整は左テスト画像に対して実行し、第二右テスト画像調整受付部にて受付けた画質調整は右テスト画像に対して実行する、という具合に左右独立に画質調整を受付け、実行することを特徴とする。
また前述のように、ここでの画質調整処理は、重畳して認識されるよう表示中の左右の各テスト画像に対してリアルタイムに適用されると良い。このようにして、視聴者は重畳テスト画像が、例えば均一色の画像や均一幅の縞画像に見えるように調整することができる。そして、最終的な左右それぞれの画質調整用のパラメータ値を、上記実施例1と同様に左右で区別してメモリなどに保持しておく、という具合である。
「第二左右出力補正部」(1006)は、第二画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う機能を有し、例えばCPUや主メモリ、あるいはグラフィックアクセラレータやVRAM、ディスプレイ装置、第二左右出力補正プログラムなどによって実現できる。具体的にこの第一左右出力補正部では、前述のようにして取得、保持されている左目用と右目用の画質調整用のパラメータ値を利用して、立体視コンテンツ映像を構成する左目用画像と右目用画像に対してそれぞれ独立に画質調整を行う、という具合である。また、立体視コンテンツ映像が録画コンテンツなど記録媒体に記録されているものであれば、その画質調整用のパラメータ値を管理情報として付加する構成としても良い。あるいは、管理情報に基づいてコンテンツに対する画質調整を行った調整後のコンテンツを符号化し記録されるように構成しても良い。
以上のように、本実施例の立体視映像表示装置では、立体視コンテンツ映像の再生に先立って視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように左テスト画像と右テスト画像を表示する。そして、それによって視聴者に視認された重畳テスト画像は視聴者の視感覚不均等を際立たせるオブジェクトを含むので、そのオブジェクトが均一に見えるよう画質調整用の適切なパラメータ値を左右独立に視聴者から受付けることができる。そして、そのようにして受付けた画質調整値を利用して立体視コンテンツ映像を構成する左目用画像と右目用画像それぞれに対する画質補正を行うことができる。それにより左右の目で視力差のあるユーザや、左右のレンズの特性が異なる3Dメガネを装着したユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
また、このように左右の視感覚不均等を緩和することで、立体視映像コンテンツを視聴することによる眼の疲れや脳の疲れを抑える効果も期待できる。また、左右の視感覚不均等により生じるホワイトバランスが崩れて認識される現象やエッジがぼけて認識される現象を防ぐ効果も期待できる。
<その他の実施例>
また、本実施例の立体視映像表示装置は以下のような構成を備えることで、上記実施例1と同様に、視聴者別に適切な画質調整用のパラメータ値を保持し、視聴者に応じた立体視コンテンツ映像の画質補正を行うことができるように構成しても良い。具体的に、本実施例の「立体視映像表示装置」は、前記説明した各構成要件に加えて「第二ユーザ別蓄積部」と「第二ユーザ識別情報入力受付部」を有するとともに、前記「第二左右出力補正部」がそれぞれ入力を受付けたユーザ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする処理を行うことを特徴とする。
「第二ユーザ別蓄積部」は、ユーザを識別するためのユーザ識別情報と関連付けて左右の画質調整用の情報を蓄積する機能を有する。また「第二ユーザ識別情報入力受付部」は、ユーザ識別情報の入力を受付ける機能を有する。なお、これら構成要件については、上記実施例1の添字以外が同名の構成要件とその機能や具体的な処理例などが同様であるのでその説明は省略する。
あるいは上記実施例1で説明したように、本実施例も3Dメガネ別に適切な画質調整用のパラメータ値を保持し、装着する3Dメガネに応じた立体視コンテンツ映像の画質補正を行うことができるように構成しても良い。具体的に、本実施例の「立体視映像表示装置」は、前記説明した各構成要件に加えて「第一3Dメガネ別蓄積部」と「第一3Dメガネ識別情報取得部」を有するとともに、前記「第一左右出力補正部」がそれぞれ取得した3Dメガネ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする。なお、各構成の具体的な内容については、上記のユーザ識別情報が3Dメガネ識別情報に替わる以外は基本的に同じであるので、その説明は省略する。
また、視聴者の装着する3Dメガネが本実施例の立体視映像表示装置と近距離無線通信する機能を有していても良い。その場合第一3Dメガネ識別情報取得部は、3Dメガネが保持する3Dメガネ識別情報を当該近距離無線通信にて取得する構成としても良い。
<処理の流れ>
図14及び図15は、本実施例の立体視映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図14にあるように、少なくとも一部には右テスト画像と重畳することで視聴者の視感覚不均等を際立たせることができる左オブジェクトを含む左テスト画像と、少なくとも一部には左テスト画像と合成認識することで視聴者の視感覚不均等を際立たせることができる右オブジェクトを含む右テスト画像を取得する(ステップS1401)。そして、前記取得した左テスト画像と右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるよう表示する(ステップS1402)。つづいて、前記重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの左テスト画像の画質調整を受付ける(ステップS1403)。又は/及び前記重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの右テスト画像の画質調整を受付ける(ステップS1404)。そして、ステップS1403又は/及びステップS1404にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をする(ステップS1405)。そして、画質補正後の画像を利用して前記ステップS1402からの左テスト画像と右テスト画像の表示、および視聴者からの画質調整の受付を繰り返し、例えば視聴者の決定操作などによって示される最終的に受付けた画質調整値を記憶する(ステップS1406)。その後、図15に示すように立体視コンテンツ映像の再生表示に際して立体視コンテンツ映像を構成する左目用画像と右目用画像を取得する(ステップS1501)。そしてステップS1403又は/及びS1404で用いられ、ステップS1406で記憶された視聴者から受付けた画質調整に応じて左目用画像と右目用画像の画質補正を行い、ディスプレイに出力表示する(ステップS1502)。
<効果の簡単な説明>
以上のように、本実施例の立体視映像再生装置によって、立体視コンテンツ映像の再生に先立って視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように左テスト画像と右テスト画像を表示する。そして、それによって視聴者に視認された重畳テスト画像は視聴者の視感覚不均等を際立たせるオブジェクトを含むので、そのオブジェクトが均一に見えるよう画質調整用の適切なパラメータ値を左右独立に視聴者から受付けることができる。そして、そのようにして受付けた画質調整値を利用して立体視コンテンツ映像を構成する左目用画像と右目用画像それぞれに対する画質補正を行うことができる。それにより左右の目で視力差のあるユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
また、このように左右の視感覚不均等を緩和することで、立体視映像コンテンツを視聴することによる眼の疲れや脳の疲れを抑える効果も期待できる。また、左右の視感覚不均等により生じるホワイトバランスが崩れて認識される現象やエッジがぼけて認識される現象を防ぐ効果も期待できる。
≪実施例3≫
<概要>
また、本発明は以下のような構成をとることで、立体視映像用の左目用画像と右目用画像とをユーザの左右の見え方の違いに応じてそれぞれ独立して画質補正することができるにしても良い。なお、下記実施例の「立体視画像コンテンツ再生装置」とは、基本的には前述の実施例における「立体視映像表示装置」と同じであり、お互いに各構成要件の一部や全部を追加、交換することも当然可能である。
すなわち、本実施例の第一は、立体視画像コンテンツを取得する立体視画像コンテンツ取得部と、取得した立体視画像コンテンツから左目用画像を取得する左目用画像取得部と、取得した立体視画像コンテンツから右目用画像を取得する右目用画像取得部と、左目用画像を右目用画像とは独立に画質調整するための左目用画質調整部と、右目用画像を左目用画像とは独立に画質調整するための右目用画質調整部と、左目用画像を画質調整するためのユーザ入力を受付ける左目調整受付部と、右目用画像を画質調整するためのユーザ入力を受付ける右目調整受付部と、調整後の画像が立体視画像コンテンツを構成するように画像出力する調整後画像出力部と、を有する立体視画像コンテンツ再生装置である。
あるいは上記第一の構成に加えて、さらに左目調整受付部は、ユーザ入力に基づきユーザの左目視力情報を取得する左目視力情報取得手段を有し、右目調整受付部は、ユーザ入力に基づきユーザの右目視力情報を取得する右目視力情報取得手段を有し、左目用画質調整部は、前記左目視力情報に基づいて左目用画像のエッジ強度、輝度レベル、ガンマ値のいずれか一以上の調整を行う左目視力依存調整手段を有し、右目用画質調整部は、前記右目視力情報に基づいて右目用画像のエッジ強度、輝度レベル、ガンマ値のいずれか一以上の調整を行う右目視力依存調整手段を有していても良い。
あるいは上記第一又は第二の構成に加えて、左目調整受付部は、ユーザ入力に基づきユーザの左目色覚情報を取得する左目色覚情報取得手段を有し、右目調整受付部は、ユーザ入力に基づきユーザの右目色覚情報を取得する右目色覚情報取得手段を有し、左目用画質調整部は、前記左目色覚情報に基づいて左目用画像の色値の調整を行う左目色覚依存調整手段を有し、右目用画質調整部は、前記右目色覚情報に基づいて右目用画像の色値の調整を行う右目色覚依存調整手段を有していても良い。
あるいは、上記第一から第三のいずれか一の構成に加えて、さらにユーザを識別するためのユーザ識別情報と関連付けて左目用画像のユーザ入力と右目用画像のユーザ入力を蓄積するユーザ別蓄積部と、ユーザ識別情報の入力を受付けるユーザ識別情報入力受付部と、を有するとともに、前記左目用画質調整部は、入力を受付けたユーザ識別情報と関連付けて蓄積されている左目画像用のユーザ入力に基づいて前記左目用画像の画質調整を行う左目ユーザ別調整手段を有し、前記右目用画質調整部は、入力を受付けたユーザ識別情報と関連付けて蓄積されている右目画像用のユーザ入力に基づいて前記右目用画像の画質調整を行う右目ユーザ別調整手段を有することを特徴としても良い。
あるいは立体視画像コンテンツ再生装置の動作方法として、立体視画像コンテンツを取得する立体視画像コンテンツ取得ステップと、取得した立体視画像コンテンツから左目用画像を取得する左目用画像取得ステップと、取得した立体視画像コンテンツから右目用画像を取得する右目用画像取得ステップと、左目用画像を右目用画像とは独立に画質調整するための左目用画質調整ステップと、右目用画像を左目用画像とは独立に画質調整するための右目用画質調整ステップと、左目用画像を画質調整するためのユーザ入力を受付ける左目調整受付ステップと、右目用画像を画質調整するためのユーザ入力を受付ける右目調整受付ステップと、調整後の画像が立体視画像コンテンツを構成するように画像出力する調整後画像出力ステップと、を計算機に実行させても良い。
図18は、本実施例の立体視画像コンテンツ再生装置における立体視画像コンテンツの画質調整の一例を説明するための図である。この図にあるように、例えばユーザの左目の視力は「1.2」で右目の視力は「0.7」である。すると図18(a)に示す右目側で視認される立体視画像コンテンツの右目用画像は、ユーザに視認される際には(実際は視差による違いを除き同じような画像であるはずの)左目用画像と比較すると図18(b)に示すような輪郭のはっきりしないぼんやりとした画像として視認されることになる。そこで本実施例の立体視画像コンテンツ再生装置は、図18(c)に示すように例えば右目用画像のみエッジ強調処理を行い、図18(d)に示すように、このユーザに視認された際に両画像が同じに見えるよう画質調整を行う。あるいは逆に右目用画像はそのままとして左目用画像のみに対してぼかし処理を行い、両画像をユーザが同じように視認できるようにしても良い。このようにして左右の目で視力が異なるようなユーザも、上手く立体視映像を視認できる可能性が高くなる。
<機能的構成>
図19は、本実施例の立体視画像コンテンツ再生装置における機能ブロックの一例を表す図である。なお、以下に記載する本装置は、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
そして、この図19にあるように、本実施例の「立体視画像コンテンツ再生装置」(1900)は、「立体視画像コンテンツ取得部」(1901)と、「左目用画像取得部」(1902)と、「右目用画像取得部」(1903)と、「左目用画質調整部」(1904)と、「右目用画質調整部」(1905)と、「左目調整受付部」(1906)と、「右目調整受付部」(1907)と、「調整後画像出力部」(1908)と、を有する。
「立体視画像コンテンツ取得部」(1901)は、立体視画像コンテンツを取得する機能を有し、例えばCPUや主メモリ、各種入出力インターフェース、立体視画像コンテンツ取得プログラムなどによって実現できる。「立体視画像コンテンツ」とは、視差を生じさせるように左目用と右目用で微妙に異なる2種類の画像の組で構成されたコンテンツをいう。また、立体視画像コンテンツが動画コンテンツであれば、例えば1フレームなど所定の単位を上記のような微妙に異なる2種類の画像の組として、それを1秒間に30フレームと言った具合にまとめて構成されたコンテンツとなる。そして、この立体視画像コンテンツ取得部では、例えば、放送波で搬送される放送コンテンツを立体視画像コンテンツとして取得する、あるいは内蔵のコンテンツ記録装置や外部の再生機器、あるいはインターネット上のサーバ装置に記録、再生されている立体視画像コンテンツを取得する、と言う具合である。
「左目用画像取得部」(1902)は、取得した立体視画像コンテンツから左目用画像を取得する機能を有し、また、「右目用画像取得部」(1903)は、取得した立体視画像コンテンツから右目用画像を取得する機能を有する。そして、この左目用画像取得部と右目用画像取得部は、例えばCPUや主メモリ、左目用画像取得プログラム、右目用画像取得プログラムなどによって実現できる。具体的には、立体視画像コンテンツ取得部にて立体視画像コンテンツとして取得した右目用画像と左目用画像について、例えばタグ情報などを参照してそれぞれを区別して取得する、と言う具合である。また、前述のように、立体視画像コンテンツを構成する左目用画像と右目用画像とは視差分の相違点を有する微妙に異なる画像であり、それぞれの符号化データを復号処理して得られる例えばRGBやYUV値で表される画像データである。そして本実施例の立体視画像コンテンツ再生装置では、上記のように区別して取得した左目用画像と右目用画像の例えばRGB値やYUV値などに対して、ユーザの左右の目の視覚能力などの差に応じてそれぞれ独立に数値調整処理を行い画質調整することを特徴とする。
「左目用画質調整部」(1904)は、左目用画像を右目用画像とは独立に画質調整するための機能を有し、また、「右目用画質調整部」(1905)は、右目用画像を左目用画像とは独立に画質調整するための機能を有する。そして、この左目用画質調整部と右目用画質調整部は、例えばCPUや主メモリ、左目用画質調整プログラム、右目用画質調整プログラムなどによって実現できる。なお、ここで実行される左目用画像と右目用画像に対して独立に行われる画質調整処理の内容は特に限定せず、ユーザの左右で異なる視覚能力に応じて適宜処理内容が選択、設定などされると良い。例えば、ユーザの左目のみが乱視であれば、明るいところでは瞳孔の大きさが小さく原理的に乱視の影響をうけにくくなるので、左目画質調整部にて左目用画像のみの各画素の輝度値を上げる処理を行う、と言う具合である。あるいは、例えばユーザの左目が視野異常で左目用画像の一部しか視認できないようであれば、右目用画像も左目と同じ領域しか視認できないよう右目画質調整部にて左目の有効視野に合せて右目用画像の周囲領域などをカットする画質調整処理を実行しても良い。
また、ユーザの左右の視力が異なる場合には、視力が弱い側の画像は他方の画像と比較してぼんやりとした輪郭のはっきりしない画像としてユーザに視認されることになる。そこで、このような場合にはぼんやり視認される側の画像に対してシャープネス処理やエッジ強調処理を行うため、エッジ強度、輝度レベル、あるいはガンマ値などの調整を行うと良い。具体的には、この「左目用画質調整部」が、左目視力情報に基づいて左目用画像のエッジ強度、輝度レベル、ガンマ値のいずれか一以上の調整を行う図示しない「左目視力依存調整手段」を有し、または「右目用画質調整部」が、右目視力情報に基づいて右目用画像のエッジ強度、輝度レベル、ガンマ値のいずれか一以上の調整を行う図示しない「右目視力依存調整手段」を有すると良い。
また、上記とは逆にぼんやり視認される側の画像はそのままとして、他方の画像に対してぼかし処理を行う構成としても同様の効果が得られる。また、エッジ強調処理とぼかし処理を選択して実行するため、例えばタグデータや画像データの解析によって画像がエッジ強調処理に適しているか、ぼかし処理に適しているか判断するよう構成しても良い。そして、画像解析やタグデータの取得によって例えば人物画像やアニメ画像と判断された場合には、ぼんやりと視認される側の画像にエッジ強調処理を行い、逆に例えば風景画像や動きの激しいスポーツ画像と判断された場合には、きちんと視認される側の画像にぼかし処理を行う、という具合である。
また、ユーザの一方の目に、例えば「緑色が青く見える」などの色覚異常がある場合には、その色覚異常のある目の側の画像内にある画素のG(緑)値を増加させて、緑として見えるように画質調整を行うと良い。あるいは逆に色覚異常の無い目の側の画像内にある画素のG値をB(青)値に変更して青として見えるように画質調整を行っても良い。具体的には、「左目用画質調整部」が、左目色覚情報に基づいて左目用画像の色値の調整を行う図示しない「左目色覚依存調整手段」を有し、または、「右目用画質調整部」が、右目色覚情報に基づいて右目用画像の色値の調整を行う図示しない「右目色覚依存調整手段」を有する、という具合である。
なお、この左目用画質調整部や右目用画質調整部における画質調整で利用される調整用のパラメータ値は固定値でも良いし、次の「左目用調整受付部」や「右目用調整受付部」にて入力されたユーザ情報に応じて演算処理によって決定されても良い。また、とりわけユーザの視力に応じて画質調整を行う場合には、さらに視聴距離情報も例えばセンサやユーザ入力によって取得し、画質調整用パラメータ値の決定に利用されても良い。また、立体視画像コンテンツが複数フレームで構成される動画コンテンツであれば、全てのフレーム画像に対して画質調整処理が実行されるよう構成すると良い。あるいは、シーン(フレーム群)ごとに別々のユーザ入力を受付けて異なる画質調整処理を行うようにしても良い。
「左目調整受付部」(1906)は、左目用画像を画質調整するためのユーザ入力を受付ける機能を有し、また、「右目調整受付部」(1907)は、右目用画像を画質調整するためのユーザ入力を受付ける機能を有し、この左目調整受付部と右目調整受付部は、例えばCPUや主メモリ、入力デバイス、またGUI(グラフィカル・ユーザ・インターフェース)を含む左目調整受付プログラム、右目調整受付プログラムなどによって実現できる。そして、この左目調整受付部や右目調整受付部では、例えばユーザの視覚特性の有無(乱視や視野異常、色覚異常、両目の視力差の有無など)や強度(乱視であれば軸角度、視野異常であれば異常位置や広さ、色覚異常であれば1型〜3型、左右の視力)、種類(乱視であれば正乱視と不正乱視、視野異常であれば狭窄や半盲や暗点、色覚異常であれば赤緑異常や青黄異常、視力であれば遠視や近視など)のユーザ入力を受付ける、という具合である。
具体的には、「左目調整受付部」が、ユーザ入力に基づきユーザの左目視力情報を取得する図示しない「左目視力情報取得手段」を有し、または「右目調整受付部」が、ユーザ入力に基づきユーザの右目視力情報を取得する図示しない「右目視力情報取得手段」を有する構成としても良い。なお、「左目視力情報」や「右目視力情報」とは左右の目の視力を示す情報をいい、前述の通り、例えば左右の目で視力に差がある/なしを示す情報や、ランドルト環などを利用して測定された視力数値を示す情報、スネレン指標で示される視力数値を示す情報などが挙げられる。
あるいは、「左目調整受付部」が、ユーザ入力に基づきユーザの左目色覚情報を取得する図示しない「左目色覚情報取得手段」を有し、または、「右目調整受付部」が、ユーザ入力に基づきユーザの右目色覚情報を取得する図示しない「右目色覚情報取得手段」を有する構成としても良い。なお、「左目色覚情報」や「右目色覚情報」とは、左右の目の色覚に冠する情報をいい、前述のように、例えば色覚異常のある/なしを示す情報や、色覚異常の程度や内容を示す分類情報などが挙げられる。
また、単に上記ユーザの視覚特性の有無のみが入力された場合には、前述の左目用画質調整部や右目用画質調整部は、固定のパラメータ値を利用して画質調整処理を行うよう構成すると良い。また、ユーザの左右の目の視覚特性の程度を示す数値情報や分類情報が入力された場合には、その数値情報や分類情報に応じてパラメータ値やルールを定める図20に示すような所定のテーブル表や所定の演算式などを利用して、画質調整のためのパラメータ値を決定するよう構成しても良い。
なお、ユーザ入力は上記のような情報を、例えばGUI画面などを表示しユーザから直接入力されることで実現する構成としても良い。あるいは、例えば石原表(乱視検査表)やランドルト環(視力検査表)などをディスプレイ上に表示して各視覚特性を検査する機能を設け、その検査に応じてユーザから入力された情報を利用して演算処理によって上記のような情報が算出される構成としても良い。また、立体視画像コンテンツが放送番組であれば、電子番組表を利用して番組単位やチャンネル単位でユーザ入力を受付ける構成としても良い。また、放送開始前にユーザ入力を受付けた場合にはそれを予約情報として保持し、放送時の画質調整にその予約されたユーザ入力が利用されるようにすると良い。あるいは、例えば眼科にて電子カルテ情報を保持している場合などは、その電子カルテ情報にて示されるユーザの左右の視覚特性を、この左目調整受付部と右目調整受付部にてユーザ入力として受付けるよう構成しても良い。
また、上記画質調整のための調整用パラメータは、コンテンツ終了のタイミングや装置の電源オフのタイミングでリセットされ、次回のコンテンツ再生時に再度ユーザ入力などに応じて算出されるよう構成しても良い。あるいはHDDなどの記憶装置に保持され、コンテンツ再生の都度読み出されるよう構成しても良い。
「調整後画像出力部」(1908)は、調整後の画像が立体視画像コンテンツを構成するように画像出力する機能を有し、CPUや主メモリ、あるいはビデオプロセッサやVRAM、ディスプレイ、調整後画像出力プログラムなどによって実現できる。具体的には、前記のように左目と右目の例えば視力情報や色覚情報などに応じて、それぞれ独立に画質調整された左目用画像および右目用画像が、ディスプレイにて例えば交互に高速表示する形態など立体視可能な表示形態で出力される、と言う具合である。あるいはレンチキュラレンズを利用した立体視表示であれば、調整後の左目用画像と右目用画像を短冊状に切り分け、それを交互に配置して出力する、と言う具合である。
また調整後の両画像を上記のように立体視コンテンツを構成するようディスプレイに出力する前に、例えば並べて同時に出力したり、低速で交互に出力したりしてディスプレイなどに表示しても良い。このようにしてユーザは両画像を片目ずつで見て比較しながらきちんと画質調整が為されているか確認することができる。また、その表示に際しては画質調整のパラメータ値も合せて表示するよう構成しても良い。
以上のようにして、本実施例の立体視画像コンテンツ再生装置では、立体視映像用の左目用画像と右目用画像とを、ユーザの左右の目の視覚特性の違いなどに応じてそれぞれ独立して画質補正することができる。したがって、このような左右の視覚能力差のあるユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができる。
また本実施例の立体視画像コンテンツ再生装置は、例えば二次元画像コンテンツの再生表示から立体視画像コンテンツの再生表示に切り替わり調整後画像出力部から調整後の左目用画像と右目用画像とがディスプレイに出力されるタイミングで、三次元(立体視)表示が開始されたことを示すアイコンやメッセージを表示するよう構成しても良い。また、それに合せて画質調整の際に利用したパラメータなどの設定値も表示するようにしても良い。また逆に立体視画像コンテンツの表示から二次元画像コンテンツの表示に切り替わった際に、二次元画像コンテンツの表示が開始されたことを示すアイコンやメッセージを表示しても良い。
また、立体視画像コンテンツが録画コンテンツなど記録媒体に記録されているものであれば、その画質調整用のパラメータ値を管理情報として付加する構成としても良い。またユーザ別に画質調整用パラメータ値が算出されていれば、そのユーザIDも管理情報に追加される構成としても良い。そして、光学系記録ディスクなどに当該立体視画像コンテンツデータを書き移す場合には、コンテンツそのものに合せて管理情報も光学系記録ディスクに記録されるよう構成しても良い。あるいは、管理情報に基づいてコンテンツに対する画質調整を行った調整後のコンテンツを符号化し光学系記録ディスクに記録されるようにしても良い。
<その他の実施例>
また、本実施例の立体視画像コンテンツ再生装置は、ユーザごとの左右の目の視力情報や色覚情報を記憶装置内に保持しておくことで、ユーザ識別情報を入力などするだけでそのユーザに適した画質調整が為された立体視画像コンテンツが出力表示されるよう構成しても良い。
具体的に、本実施例の「立体視画像コンテンツ再生装置」は、上記構成に加えて「ユーザ別蓄積部」と、「ユーザ識別情報入力受付部」を有する。また、さらに前述の「左目用画質調整部」が「左目ユーザ別調整手段」を有し、かつ「右目用画質調整部」が「右目ユーザ別調整手段」を有することを特徴とする。
「ユーザ別蓄積部」は、ユーザを識別するためのユーザ識別情報と関連付けて左目用画像のユーザ入力と右目用画像のユーザ入力を蓄積する機能を有し、例えばフラッシュメモリやHDDなどの各種記録媒体によって実現することができる。図21は、このユーザ別蓄積部で蓄積されているユーザ別の左右の画像用の入力値を示すテーブルデータの一例を表す図である。この図にあるように、例えばユーザ識別情報Aで識別されるユーザは、左目用画像のユーザ入力として「左目視力:1.2」が保持され、右目用画像のユーザ入力として「右目視力:0.7」が保持されている。また、例えばユーザ識別情報Bで識別されるユーザは、左目用画像のユーザ入力として「左目色覚:正常」が保持され、右目用画像のユーザ入力として「右目色覚:青色異常」が保持されている、と言う具合である。
「ユーザ識別情報入力受付部」は、ユーザ識別情報の入力を受付ける機能を有し、例えばCPUや主メモリ、入力デバイス、またユーザ識別情報入力受付プログラムなどによって実現できる。具体的には、例えばユーザ識別情報を入力させるためのGUI画面を表示し、その入力欄に入力されるユーザ識別情報を受付ける構成や、例えば携帯電話をリモコン装置代わりに利用している場合など、当該携帯電話(リモコン装置)からの操作信号に含まれる装置の識別情報をユーザ識別情報として受付ける構成などが挙げられる。そしてこのようにして受付けたユーザ識別情報を利用して、左目用画像と右目用画像をそれぞれ独立に画質補正するためのユーザ入力を選択することができる。
「左目ユーザ別調整手段」は、入力を受付けたユーザ識別情報と関連付けて蓄積されている左目画像用のユーザ入力に基づいて前記左目用画像の画質調整を行う機能を有し、また、「右目ユーザ別調整手段」は、入力を受付けたユーザ識別情報と関連付けて蓄積されている右目画像用のユーザ入力に基づいて前記右目用画像の画質調整を行う機能を有する。具体的には、例えばユーザ識別情報入力部で「ユーザA」が入力された場合、図21に示すようなテーブルデータを参照して、左目画像用のユーザ入力「左目視力:0.1」と右目用画像のユーザ入力「右目視力:1.2」を取得する。そして、それぞれのユーザ入力に応じて、例えば左目用画像が1.2の視力で見た右目用画像と同じような画像として認識されるよう、左目用画像に対するエッジの強調度数を所定の画質調整ルールに従って決定する。そして、その決定されたエッジ強調度数で左目用画像の画質調整を行う、と言う具合である。また、例えばユーザ識別情報入力部で「ユーザB」が入力された場合、同様にして左目画像用のユーザ入力「左目色覚:正常」と右目用画像のユーザ入力「右目色覚:青色異常」を取得する。そして、それぞれのユーザ入力に応じて、例えば左目用画像の画素のG値をB値に変換する画質調整を行う、と言う具合である。
以上のようにして、その他の立体視コンテンツ画像再生装置では、ユーザ識別情報を入力するだけで、そのユーザに適した左目用画像や右目用画像の独立した画質調整を行うことができる。
また、このようにユーザ別に画質調整を行う場合、ボタン操作などに応じて現在表示中の立体視画像コンテンツの画質補正に係るユーザの名前やアイコンなどの識別情報をディスプレイ上に表示するよう構成しても良い。このように構成することで、いずれのユーザに適した立体視画像コンテンツの再生であるのかをユーザに通知することができる。
また、例えば家族で視聴するなど同時に複数のユーザが視聴することを想定し、本実施例の立体視画像コンテンツ再生装置の左目用画質調整部と右目用画質調整部では、以下のような構成をさらに備えていてもよい。すなわち、ユーザA、B、・・・のそれぞれのユーザ入力の値から平均値や中央値などを算出し、その値を画質調整のパラメータとして利用する、と言う具合である。あるいは立体視画像コンテンツが動画であれば、例えば秒間30フレームの動画を秒間120フレームなどに伸張し、それを同時視聴するユーザに、例えば2人であれば60フレームずつ配分する。そして、ユーザAに配分されたフレーム群Aに対してユーザAの入力に基づいて左目用画質調整と右目用画質調整を行う。またユーザBに配分されたフレーム群Bに対してはユーザBの入力に基づいてAとは異なる左目用画質調整と右目用画質調整を行う。そして、ユーザAとBのそれぞれの液晶シャッターの開閉時間や開閉タイミングを前記フレームの配分に合せて制御することで、ユーザAに合せて左右独立に調整されたフレーム群AはユーザAにのみ視認され、ユーザBに合せて左右独立に調整されたフレーム群BはユーザBにのみ視認される、と言う具合である。
また、上記のように本実施例の立体視画像コンテンツ再生装置にて生成された画質調整後の左目用画像と右目用画像を、コンテンツの配給元がその視覚特性別に分類して配信や販売などを行っても良い。具体的に、例えばコンテンツの配給元が「左目視力:1.2、右目視力:0.7」用のコンテンツが記録された光学系記録メディアを販売したり、インターネットを介して配信したりする。そして、ユーザは自身の視覚特性に合ったコンテンツを購入などする、と言う具合である。
<ハードウェア構成>
図22は、上記機能的な各構成要件をハードウェアとして実現した際の、立体視画像コンテンツ再生装置における構成の一例を表す概略図である。この図を利用して左右それぞれの画像の独立した画質調整処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、立体視画像コンテンツ再生装置は、各種の演算処理を行い、また左目用画質調整部及び右目用画質調整部や、左目用画像取得部及び右目用画像取得部でもある「CPU」(2201)と「主メモリ」(2202)と、を備えている。また立体視画像コンテンツ取得部を実現する「画像入力インターフェース」(2203)や、左目調整受付部及び右目調整受付部である「リモコン入力装置」(2204)、と、調整後画像出力部である「VRAM」(2205)や「ディスプレイ」(2206)なども備えている。またさらに、各種データや画質調整のためのパラメータ値の決定ルールを保持する「フラッシュメモリ」(2207)なども備えている。
また、「主メモリ」にはプログラムが読み出され、「CPU」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
ここで、例えばユーザが「リモコン装置」に入力した立体視画像コンテンツの再生命令の受信をトリガーとして、立体視画像コンテンツ取得プログラム、左目用画像取得プログラム、そして右目用画像取得プログラムが「主メモリ」に読み出される。そして、「CPU」が、まず立体視画像コンテンツ取得プログラムを解釈し、その解釈結果にしたがって、前記再生命令に含まれるコンテンツIDなどをキーとして、再生する立体視画像コンテンツを構成する2枚の画像(コンテンツが動画であれば、その2枚の画像組を1フレームとして複数フレームで構成される画像群)をHDDなどの記録装置から取得する。つづいて「CPU」は、左目用画像取得プログラムと右目用画像取得プログラムを解釈し、その解釈結果にしたがって、前記取得した立体視画像コンテンツを構成する2枚の画像のタグデータなどを参照し、それぞれを左目用画像と右目用画像と区別して「主メモリ」のアドレス1、・・・アドレス2、・・・にそれぞれ格納する。
つづいて「CPU」は、左目調整受付プログラムと右目調整受付プログラムを読み出して解釈し、その解釈結果にしたがって、左目用画像を調整するためのユーザ入力(例えば左目の視力情報など)と、右目用画像を調整するためのユーザ入力を受付けるため、情報入力欄などを備えるGUI画面を「ディスプレイ」に表示する。また、GUI画面では左目や右目の視力などの情報を直接入力させても良いし、あるいは予めこれらの情報が入力され「フラッシュメモリ」などに保持されていれば、その情報の読出命令や、ユーザ別に保持されていればユーザ識別情報を入力させるようにしても良い。そして、ユーザ入力によって取得した例えば左目と右目の視力情報などを、「主メモリ」のアドレス3、4にそれぞれ格納する。
そして「CPU」は左目用画質調整プログラムを読み出して解釈し、その解釈結果に従って主メモリのアドレス3に格納されている例えば左目の視力情報で示される数値を、左目用画像の画質補正値を決定するための演算式に代入し左の補正パラメータ値を算出する。あるいは左目の視力情報をキーとしてテーブルデータを参照して、左の補正パラメータ値を取得し、その左の補正パラメータ値を「主メモリ」のアドレス5に格納する。また「CPU」は右目用画質調整プログラムを読み出して解釈し、その解釈結果に従って、上記同様の処理によってアドレス4に格納されている右目の視力情報などを利用して右の補正パラメータ値を算出/取得して「主メモリ」のアドレス6に格納する。
そして「CPU」は、「主メモリ」のアドレス1、・・・に格納されている左目用画像の例えばエッジ強調処理を、アドレス5に格納されている左の補正パラメータ値を利用して実行する。また、「主メモリ」のアドレス2、・・・に格納されている右目用画像の例えばエッジ強調処理を、アドレス6に格納されている右の補正パラメータ値を利用して実行すし、画質調整された左目用画像や右目用画像を、「主メモリ」のアドレス7、・・・,アドレス8、・・・にそれぞれ格納する。もちろん、このエッジ強調などの画質調整処理は、いずれか一方の画像に対して実行されても良い。また、左目用画像に関するユーザ入力と右目用画像に対するユーザ入力の差分値を算出し、その差分値を利用していずれかの画像に対する補正パラメータ値を算出するよう構成しても良い。また、補正パラメータ値は固定値であって、ユーザ入力に応じて「フラッシュメモリ」などから取得する構成であっても良い。
そして「CPU」は調整後画像出力プログラムを解釈し、「主メモリ」のアドレス7、・・・に格納されている画質調整後の左目用画像と,アドレス8、・・・にされている画質調整後の右目用画像を、「ディスプレイ」に例えば交互に高速で切替えて表示などする、という具合である。
なお、本実施例の立体視画像コンテンツ再生装置は、テレビ受像機やモニタ装置、HDDレコーダー/プレーヤーなどのコンテンツ再生機器、あるいはコンテンツ配信サーバなどに組み込まれると良い。なお、例えば飛行機の座席ごとに取り付けられるなどするモニタ装置に組み込まれていれば、その座席に座ったユーザがユーザ入力を行うことで画質調整が行われると良い。また、コンテンツ配信サーバに組み込まれる場合は、例えばIPアドレスなどから送信先となる表示装置を特定し、そのIPアドレスと関連付けて取得したユーザ入力を適宜利用して送信先別の画質調整を行った上でコンテンツを送信するよう構成しても良い。
<処理の流れ>
図23は、本実施例の立体視画像コンテンツ再生装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、立体視画像コンテンツを、例えばユーザの再生命令に従って外部/内蔵のコンテンツ記録装置などから取得する(ステップS2301)。そして取得した立体視画像コンテンツから、例えば画像のタグ情報などを参照して左目用画像を取得し(ステップS2302)、また同様にして取得した立体視画像コンテンツから右目用画像を取得する(ステップS2303)。つづいて、例えばGUI画面などを介して左目用画像を画質調整するためのユーザ入力を受付け(ステップS2304)、また同様にして右目用画像を画質調整するためのユーザ入力を受付ける(ステップS2305)。そして、ステップS2304で入力された左用のユーザ入力に応じて左目用画像を右目用画像とは独立に画質調整する(ステップS2306)。また、ステップS2305で入力された右用のユーザ入力に応じて右目用画像を左目用画像とは独立に画質調整する(ステップS2307)。そして最後に調整後の画像が立体視画像コンテンツを構成するように画像出力する(ステップS2308)。もちろん、前述のように、ステップS2306とS2307のそれぞれの画質調整処理はいずれか一方のみ実行されても良いし、また左用のユーザ入力と右用のユーザ入力の差分値を算出し、その差分値を利用していずれの画像に対して独立した画質調整処理を実行しても良い。
<効果の簡単な説明>
以上のように、本実施例の立体視画像コンテンツ再生装置によって、立体視映像用の左目用画像と右目用画像とを、ユーザの左右の目の視覚特性の違いなどに応じてそれぞれ独立して画質調整することができる。したがって左右の視覚能力に差のあるユーザに対しても、両画像を(視差による画像の違いを除き)同じような画像として視認させることができ、立体視をより容易に行う効果が期待できる。
≪実施例4≫
<概要>
また、本実施例の立体視画像コンテンツ再生装置は、上記実施例を基本として、さらに左目用画像と右目用画像とを一括して画質調整するためのユーザ入力である一括ユーザ入力を受付ける一括画質調整受付部と、受付けられた一括ユーザ入力により画質を調整するために所定の画質パラメータを増加させ、または減少させる値である画質パラメータ差分値を取得する画質パラメータ差分値取得部と、取得した画質パラメータ差分値分、左目用画像パラメータ値および右目画像用パラメータ値を増加させ、または減少させる一括調整部と、を有していても良い。
つまり本実施例の立体視画像コンテンツ再生装置は、上記実施例を基本として、ユーザの左右の視覚能力の差などに応じて独立して画質調整される左右の目用のそれぞれの画像に対して、例えば全体的に輝度を底上げしたいなどの場合に、ユーザの操作入力に応じて両画像の輝度を一括して上げる画質調整を行う機能を有することを特徴とする。
<機能的構成>
図24は、本実施例の立体視画像コンテンツ再生装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「立体視画像コンテンツ再生装置」(2400)は、上記実施例3を基本として、「立体視画像コンテンツ取得部」(2401)と、「左目用画像取得部」(2402)と、「右目用画像取得部」(2403)と、「左目用画質調整部」(2404)と、「右目用画質調整部」(2405)と、「左目調整受付部」(2406)と、「右目調整受付部」(2407)と、「調整後画像出力部」(2408)と、を有する。そして、本実施例の立体視画像コンテンツ再生装置の特徴点は、さらに「一括画質調整受付部」(2409)と、「画質パラメータ差分値取得部」(2410)と、「一括調整部」(2411)と、を有する点である。
「一括画質調整受付部」(2409)は、左目用画像と右目用画像とを一括して画質調整するためのユーザ入力である一括ユーザ入力を受付ける機能を有し、例えばCPUや主メモリ、入力デバイス、またGUIを含む一括画質調整受付プログラムなどによって実現できる。具体的には、例えば図25に示すようなスライダーバーを表示し、ユーザからリモコンなどの入力デバイスを介したスライダーバーの左右への操作入力を受付ける。そしてユーザは、例えば画像全体の輝度を全体的に底上げしたいと思えば、全体輝度調整のためのスライダーバーに対する操作入力を行う、と言う具合である。
「画質パラメータ差分値取得部」(2410)は、受付けられた一括ユーザ入力により画質パラメータ差分値を取得する機能を有し、例えばCPUや主メモリ、画質パラメータ差分値取得プログラムなどで実現することができる。また「画質パラメータ差分値」とは、画質を調整するために所定の画質パラメータを増加させ、または減少させる値をいい、例えば「輝度値+10」、「色値(RGB値のいずれか)+15」などの値が挙げられる。そして、この画質パラメータ差分値取得部では、具体的に、前記一括画質調整受付部で受付けた一括ユーザ入力に応じて、左右の両画像を一括して画質調整するための例えば「輝度値+10」などの値を取得する、という具合である。
「一括調整部」(2411)は、取得した画質パラメータ差分値分、左目用画像パラメータ値および右目画像用パラメータ値を増加させ、または減少させる機能を有し、例えばCPUや主メモリ、一括調整プログラムなどによって実現できる。具体的には、例えば、実施例3で説明したように、ユーザの左右の視覚特性の差に応じて、左目用画像の輝度値を+10、右目用画像の輝度値を「±0」とする画質調整用パラメータ値が算出される。すると、そのそれぞれ独立して算出された両画像のパラメータ値に対して、一括調整のための画質パラメータ差分値、例えば「輝度値+10」を適用し、左目用画像の輝度値を+20、右目用画像の輝度値を「±10」とする画質調整用パラメータ値が、最終的な画質補正用パラメータ値として算出される。
あるいは、例えば一括入力された画質パラメータ差分値が「輝度値+10」であり、一方両画像についてそれぞれ独立に算出されたパラメータ値が左目用画像のG値を「+10」、右目用画像のB値を「−10」であれば、最終的な画質補正用パラメータ値として左目用画像の「輝度値:+10」かつ「G値:+10」とし、右目用画像の「輝度値:+10」かつ「B値−10」が適用される、と言う具合である。
以上のように本実施例の立体視画像コンテンツ再生装置によって、ユーザの左右の視覚特性の差に応じて左右の両画像を独立して画質調整したうえで、例えばユーザの画像全体の輝度を調整したいなど希望に応じて画質の一括調整をも同時に行うことができるようになる。
<処理の流れ>
図26は、本実施例の立体視画像コンテンツ再生装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。そして、上記実施例で記載したように、立体視画像コンテンツから左目用画像と右目用画像を取得するとともに、左目用画像を画質調整するためのユーザ入力と、右目用画像を画質調整するためのユーザ入力とを受付ける。そして図26に示すように、このような上記ユーザの左右の視覚特性に応じた左右独立のユーザ入力に加えて両画像を一括で調整するための一括ユーザ入力も受付ける(ステップS2601)。そして、受付けた一括ユーザ入力により画質パラメータ差分値を取得する(ステップS2602)。
そして、視覚特性に応じた独立調整のための左用のユーザ入力による画質パラメータ値と、前記ステップS2602で取得した画質パラメータ差分値とに応じて左目用画像を画質調整する(ステップS2603)。また、同様に右用のユーザ入力による画質パラメータ値と、前記ステップS2602で取得した画質パラメータ差分値とに応じて右目用画像を画質調整する(ステップS2604)。そして最後に調整後の画像が立体視画像コンテンツを構成するように画像出力する(ステップS2605)。
<効果の簡単な説明>
以上のように、本実施例の立体視画像コンテンツ再生装置によって、ユーザの左右の視覚特性の差に応じて左右の両画像を独立して画質調整したうえで、例えばユーザの画像全体の輝度を調整したいなど希望に応じて画質の一括調整をも同時に行うことができるようになる。
0200 立体視映像表示装置
0201 第一テスト画像取得部
0202 第一画像交互表示部
0203 第一左テスト画像調整受付部
0204 第一右テスト画像調整受付部
0205 第一画質補正部
0206 第一左右出力補正部

Claims (22)

  1. 立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には同一オブジェクトを含む左テスト画像及び右テスト画像を取得する第一テスト画像取得部と、
    前記取得した左テスト画像と右テスト画像を、視聴者の眼に前の画像の残像が残らない程度のスピードで間欠的に交互に表示する第一画像交互表示部と、
    前記間欠的に交互に表示される左テスト画像に含まれる前記同一オブジェクトが右テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一左テスト画像調整受付部又は/及び、
    前記間欠的に交互に表示される右テスト画像に含まれる前記同一オブジェクトが左テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一右テスト画像調整受付部と、
    第一左テスト画像調整受付部又は/及び第一右テスト画像調整受付部にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第一画質補正部と、
    前記第一画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第一左右出力補正部と、
    を有する立体視映像表示装置。
  2. 前記第一テスト画像取得部は、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第一裸眼用テスト画像取得手段を有する請求項1に記載の立体視映像表示装置。
  3. 前記第一テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第一メガネ用テスト画像取得手段を有する請求項1又は2に記載の立体視映像表示装置。
  4. 前記第一画像交互表示部は、視聴者の装着した3Dメガネがシャッター方式である場合に、そのシャッターの透過と遮光の切換周期に同期して、前記メガネ用の左テスト画像および右テスト画像の前記交互表示を行う第一メガネ同期画像交互表示手段を有する請求項3に記載の立体視映像表示装置。
  5. 第一テスト画像取得部は、
    左テスト画像及び右テスト画像のオブジェクトとして、徐々に線幅が変化する漸次縞画像を取得する第一縞画像取得手段を有する請求項1から4のいずれか一に記載の立体視映像表示装置。
  6. 第一テスト画像取得部は、
    左テスト画像及び右テスト画像のオブジェクトとして、徐々に色が変化する漸次色画像を取得する第一色画像取得手段を有する請求項1から5のいずれか一に記載の立体視映像表示装置。
  7. 第一テスト画像取得部は、
    左テスト画像及び右テスト画像のオブジェクトとして、RGB値のいずれか一又は二以上の階調が変化するRAMP画像を取得する第一RAMP画像取得手段を有する請求項1から5のいずれか一に記載の立体視映像表示装置。
  8. ユーザを識別するためのユーザ識別情報と関連付けて左右の画質調整用の情報を蓄積する第一ユーザ別蓄積部と、
    ユーザ識別情報の入力を受付ける第一ユーザ識別情報入力受付部と、を有するとともに、
    前記第一左右出力補正部は、
    それぞれ入力を受付けたユーザ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする請求項1から7のいずれか一に記載の立体視映像表示装置。
  9. 3Dメガネを識別するための3Dメガネ識別情報と関連付けて左右の画質調整用の情報を蓄積する第一3Dメガネ別蓄積部と、
    3Dメガネ識別情報を取得する第一3Dメガネ識別情報取得部と、を有するとともに、
    前記第一左右出力補正部は、
    それぞれ取得した3Dメガネ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする請求項1から8のいずれか一に記載の立体視映像表示装置。
  10. 立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には右テスト画像と重畳することで視聴者の視感覚不均等を際立たせることができる左オブジェクトを含む左テスト画像及び少なくとも一部には左テスト画像と合成認識することで視聴者の視感覚不均等を際立たせることができる右オブジェクトを含む右テスト画像、を取得する第二テスト画像取得部と、
    前記取得した左テスト画像と右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように表示する第二画像表示部と、
    重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの左テスト画像の画質調整を受付ける第二左テスト画像調整受付部又は/及び、
    重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの右テスト画像の画質調整を受付ける第二右テスト画像調整受付部と、
    第二左テスト画像調整受付部又は/及び第二右テスト画像調整受付部にて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第二画質補正部と、
    前記第二画質補正部で用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第二左右出力補正部と、
    を有する立体視映像表示装置。
  11. 前記第二テスト画像取得部は、視聴者の裸眼での視覚特性の左右ばらつきによる視感覚不均等解消を目的とした裸眼用の左テスト画像及び裸眼用の右テスト画像を取得する第二裸眼用テスト画像取得手段を有する請求項10に記載の立体視映像表示装置。
  12. 前記第二テスト画像取得部は、視聴者が3Dメガネを装着した状態での視感覚不均等解消を目的としたメガネ用の左テスト画像及びメガネ用の右テスト画像を取得する第二メガネ用テスト画像取得手段を有する請求項10又は11に記載の立体視映像表示装置。
  13. 前記第二画像表示部は、視聴者の装着した3Dメガネがシャッター方式である場合に、そのシャッターの透過と遮光の切換周期に同期して、前記メガネ用の左テスト画像および右テスト画像の前記交互表示を行う第二メガネ同期画像表示手段を有する請求項12に記載の立体視映像表示装置。
  14. 第二テスト画像取得部は、
    左テスト画像としてそれに含まれるオブジェクトが右テスト画像と互いに表示画面上で重複しないで補完しあう分散模様を有し、
    右テスト画像としてそれに含まれるオブジェクトが左テスト画像と互いに表示画面上で重複しないで補完しあう分散模様を有する、
    テスト画像を取得する分散模様テスト画像取得手段を有する請求項10から13のいずれか一に記載の立体視映像表示装置。
  15. オブジェクトの分散模様は、縞の線幅が徐々に変化する漸次縞である請求項14に記載の立体視映像表示装置。
  16. オブジェクトの分散模様は、左テスト画像と右テスト画像の模様の色が互いに補色関係にある請求項14又は15に記載の立体視映像表示装置。
  17. 第二テスト画像取得部は、
    左テスト画像及び右テスト画像のオブジェクトとして、徐々に色が変化する漸次色画像を取得する第二色画像取得手段を有する請求項14から16のいずれか一に記載の立体視映像表示装置。
  18. 第二テスト画像取得部は、
    左テスト画像及び右テスト画像のオブジェクトとして、RGB値のいずれか一又は二以上の階調が変化するRAMP画像を取得する第二RAMP画像取得手段を有する請求項14から16に記載の立体視映像表示装置。
  19. ユーザを識別するためのユーザ識別情報と関連付けて左右の画質調整用の情報を蓄積する第二ユーザ別蓄積部と、
    ユーザ識別情報の入力を受付ける第二ユーザ識別情報入力受付部と、を有するとともに、
    前記第二左右出力補正部は、
    それぞれ入力を受付けたユーザ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする請求項10から18のいずれか一に記載の立体視映像表示装置。
  20. 3Dメガネを識別するための3Dメガネ識別情報と関連付けて左右の画質調整用の情報を蓄積する第二3Dメガネ別蓄積部と、
    3Dメガネ識別情報を取得する第二3Dメガネ識別情報取得部と、を有するとともに、
    前記第二左右出力補正部は、
    それぞれ取得した3Dメガネ識別情報と関連付けて蓄積されている左右の画質調整用の情報に基づいて前記左右出力補正を行うことを特徴とする請求項10から19のいずれか一に記載の立体視映像表示装置。
  21. 立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には同一オブジェクトを含む左テスト画像及び右テスト画像を取得する第一テスト画像取得ステップと、
    前記取得した左テスト画像と右テスト画像を、視聴者の眼に前の画像の残像が残らない程度のスピードで間欠的に交互に表示する第一画像交互表示ステップと、
    前記間欠的に交互に表示される左テスト画像に含まれる前記同一オブジェクトが右テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一左テスト画像調整受付ステップ又は/及び、
    前記間欠的に交互に表示される右テスト画像に含まれる前記同一オブジェクトが左テスト画像のそれと同じ画像に見えるようにするための視聴者からの画質調整を受付ける第一右テスト画像調整受付ステップと、
    第一左テスト画像調整受付ステップ又は/及び第一右テスト画像調整受付ステップにて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第一画質補正ステップと、
    前記第一画質補正ステップで用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第一左右出力補正ステップと、
    を計算機に実行させる立体視映像表示装置の動作方法。
  22. 立体視コンテンツ映像の視聴者の見え方の左右ばらつきによる視感覚不均等解消用の左右出力補正のために少なくとも一部には右テスト画像と重畳することで視聴者の視感覚不均等を際立たせることができる左オブジェクトを含む左テスト画像及び少なくとも一部には左テスト画像と合成認識することで視聴者の視感覚不均等を際立たせることができる右オブジェクトを含む右テスト画像、を取得する第二テスト画像取得ステップと、
    前記取得した左テスト画像と右テスト画像を、視聴者の左右眼からの画像が一枚の重畳テスト画像として視聴者に視認できるように表示する第二画像表示ステップと、
    重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの左テスト画像の画質調整を受付ける第二左テスト画像調整受付ステップ又は/及び、
    重畳テスト画像で際立ったオブジェクトの視感覚不均等を均等化して見えるようにするための視聴者からの右テスト画像の画質調整を受付ける第二右テスト画像調整受付ステップと、
    第二左テスト画像調整受付ステップ又は/及び第二右テスト画像調整受付ステップにて視聴者から受付けた画質調整に応じて左テスト画像又は/及び右テスト画像の画質補正をするための第二画質補正ステップと、
    前記第二画質補正ステップで用いられた視聴者から受付けた画質調整に応じて立体視コンテンツ映像の左右出力補正を行う第二左右出力補正ステップと、
    を計算機に実行させる立体視映像表示装置の動作方法。
JP2011046847A 2010-03-05 2011-03-03 立体視映像表示装置、および立体視映像表示装置の動作方法 Expired - Fee Related JP4758520B1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2011046847A JP4758520B1 (ja) 2010-03-05 2011-03-03 立体視映像表示装置、および立体視映像表示装置の動作方法
CN2011800123646A CN102783164B (zh) 2010-03-05 2011-03-04 立体感视频显示装置、及立体感视频显示装置的动作方法
BR112012022419A BR112012022419A2 (pt) 2010-03-05 2011-03-04 dispositivo de representação de vídeo estereoscópico e método de operação de um dispositivo de representação de vídeo estereoscópico
RU2012142314/08A RU2012142314A (ru) 2010-03-05 2011-03-04 Устройство отображения стереоскопического видеоизображения и способ работы устройства отображения стереоскопического видеоизображения
US13/582,646 US20130002660A1 (en) 2010-03-05 2011-03-04 Stereoscopic video display device and operation method of stereoscopic video display device
PCT/JP2011/055065 WO2011108702A1 (ja) 2010-03-05 2011-03-04 立体視映像表示装置、および立体視映像表示装置の動作方法
MX2012010079A MX2012010079A (es) 2010-03-05 2011-03-04 Dispositivo de visualizacion de video estereoscopico y metodo de operacion de dispositivo de visualizacion de video estereoscopico.
EP11750811A EP2544459A1 (en) 2010-03-05 2011-03-04 Stereoscopic video display device and operation method of stereoscopic video display device

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010049844 2010-03-05
JP2010049844 2010-03-05
JP2010118774 2010-05-24
JP2010118774 2010-05-24
JP2011046847A JP4758520B1 (ja) 2010-03-05 2011-03-03 立体視映像表示装置、および立体視映像表示装置の動作方法

Publications (2)

Publication Number Publication Date
JP4758520B1 true JP4758520B1 (ja) 2011-08-31
JP2012010309A JP2012010309A (ja) 2012-01-12

Family

ID=44542346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011046847A Expired - Fee Related JP4758520B1 (ja) 2010-03-05 2011-03-03 立体視映像表示装置、および立体視映像表示装置の動作方法

Country Status (8)

Country Link
US (1) US20130002660A1 (ja)
EP (1) EP2544459A1 (ja)
JP (1) JP4758520B1 (ja)
CN (1) CN102783164B (ja)
BR (1) BR112012022419A2 (ja)
MX (1) MX2012010079A (ja)
RU (1) RU2012142314A (ja)
WO (1) WO2011108702A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951076B2 (ja) * 2010-03-05 2012-06-13 株式会社東芝 表示装置、システム、及びメガネに関する
US20120081521A1 (en) * 2010-09-30 2012-04-05 Nokia Corporation Apparatus and Method for Displaying Images
GB2484998B (en) * 2010-10-29 2014-08-20 Lg Display Co Ltd Optical measuring apparatus and measuring method of stereoscopic display device
KR101325988B1 (ko) 2010-10-29 2013-11-07 엘지디스플레이 주식회사 입체 디스플레이의 광학 측정 장치 및 방법
JP2012253471A (ja) * 2011-05-31 2012-12-20 Panasonic Corp 立体映像表示装置および立体映像表示方法
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
JP5117613B1 (ja) * 2011-12-09 2013-01-16 株式会社東芝 映像処理装置および映像処理方法ならびに記憶媒体
EP2611174A3 (en) * 2011-12-28 2014-01-15 Samsung Electronics Co., Ltd. Display apparatus for displaying a plurality of contents views, glasses apparatus, display system comprising them, and display methods thereof
CN102780903A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种通过左右眼图像滤光显示来调节3d图像效果的方法
CN105474072A (zh) * 2013-03-11 2016-04-06 埃维根特公司 用于增强立体图像的系统、装置和方法
KR20150006957A (ko) * 2013-07-09 2015-01-20 한국전자통신연구원 3d 비디오 스트리밍 서비스 제공 방법 및 그 장치
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
KR102180528B1 (ko) * 2014-01-06 2020-11-18 삼성전자주식회사 색맹 교정을 위한 전자 장치 및 운영 방법
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
CN104980733B (zh) * 2015-06-18 2017-01-18 中央民族大学 一种裸眼3d显示器的串扰测试方法及其测试图像
CN109792554B (zh) * 2016-10-06 2022-10-11 索尼公司 再现装置、再现方法和计算机可读存储介质
KR20180043455A (ko) * 2016-10-19 2018-04-30 삼성디스플레이 주식회사 두부 장착 표시 시스템의 구동 방법 및 이를 수행하는 두부 장착 표시 시스템
US11291362B2 (en) 2017-11-01 2022-04-05 Robert Wendell Arnold Systems and methods for eye evaluation and treatment
US20230171360A1 (en) * 2021-11-29 2023-06-01 Xerox Corporation Methods and systems for enhancing content of a document based on visual lens power of a user
CN114885148B (zh) * 2022-04-28 2023-11-28 深圳市华星光电半导体显示技术有限公司 立体显示系统的显示方法及立体显示系统
CN115396547A (zh) * 2022-08-25 2022-11-25 武汉元光科技有限公司 一种视觉障碍者的裸眼视觉呈现方法、装置、介质及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289320A (ja) 1993-04-06 1994-10-18 Sharp Corp 3次元ディスプレイ装置
JP3537167B2 (ja) * 1993-10-18 2004-06-14 オリンパス株式会社 眼球投影型映像表示装置
US7522257B2 (en) * 2001-01-23 2009-04-21 Kenneth Jacobs System and method for a 3-D phenomenoscope
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US7375886B2 (en) * 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
US7536059B2 (en) * 2004-11-10 2009-05-19 Samsung Electronics Co., Ltd. Luminance preserving color quantization in RGB color space
JP2006250999A (ja) * 2005-03-08 2006-09-21 Seiko Epson Corp 立体画像表示装置
WO2006128066A2 (en) * 2005-05-26 2006-11-30 Real D Ghost-compensation for improved stereoscopic projection
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
US8085292B2 (en) * 2007-02-26 2011-12-27 Joshua Bodinet Process and system used to discover and exploit the illusory depth properties inherent in an autostereoscopic image

Also Published As

Publication number Publication date
US20130002660A1 (en) 2013-01-03
JP2012010309A (ja) 2012-01-12
EP2544459A1 (en) 2013-01-09
CN102783164A (zh) 2012-11-14
MX2012010079A (es) 2012-10-03
WO2011108702A1 (ja) 2011-09-09
BR112012022419A2 (pt) 2016-08-30
RU2012142314A (ru) 2014-04-10
CN102783164B (zh) 2013-10-09

Similar Documents

Publication Publication Date Title
JP4758520B1 (ja) 立体視映像表示装置、および立体視映像表示装置の動作方法
Seuntiëns et al. Perceptual attributes of crosstalk in 3D images
Lambooij et al. Visual discomfort of 3D TV: Assessment methods and modeling
Tam et al. Stereoscopic 3D-TV: visual comfort
US6532008B1 (en) Method and apparatus for eliminating steroscopic cross images
CN102196285B (zh) 调整3d图像质量的方法和3d显示设备
JP5091246B2 (ja) 干渉フィルタを用いたステレオ投影
CN102461181B (zh) 用于提供3d用户界面的立体图像再现装置和方法
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
KR20100037611A (ko) 착색된 필터로 스테레오스코픽 이미지를 생성 및 디스플레이하는 방법 및 장치
WO2010084716A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
EP2259601A1 (en) Image processing method, image processing device, and recording medium
JP2012518317A (ja) 3d観察者メタデータの転送
JPH01205120A (ja) 立体効果発生眼鏡及び方法
JP2014515569A (ja) 両眼視画像の両眼視用および単眼視用の同時表示を可能にするための該両眼視画像の自動変換
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
Boev et al. Comparative study of autostereoscopic displays for mobile devices
JP2012253471A (ja) 立体映像表示装置および立体映像表示方法
US20120098831A1 (en) 3d display apparatus and method for processing 3d image
CN102646438B (zh) 一种基于flash播放器的3D视频播放方法及装置
CN113014902B (zh) 3d-2d同步显示方法及系统
Häkkinen et al. Determining limits to avoid double vision in an autostereoscopic display: Disparity and image element width
US20130063813A1 (en) Method of viewing anaglyphs with single color filter to optimize color perception
Winkler et al. Stereoscopic image quality compendium
KR20110102801A (ko) 3d 영상 화질 조정 방법, 3d 디스플레이 장치, 3d 안경 및 3d 영상 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees