JP5725159B2 - 測定装置、立体画像表示装置及び測定方法 - Google Patents

測定装置、立体画像表示装置及び測定方法 Download PDF

Info

Publication number
JP5725159B2
JP5725159B2 JP2013506943A JP2013506943A JP5725159B2 JP 5725159 B2 JP5725159 B2 JP 5725159B2 JP 2013506943 A JP2013506943 A JP 2013506943A JP 2013506943 A JP2013506943 A JP 2013506943A JP 5725159 B2 JP5725159 B2 JP 5725159B2
Authority
JP
Japan
Prior art keywords
image
unit
display
stereoscopic
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013506943A
Other languages
English (en)
Other versions
JPWO2012131937A1 (ja
Inventor
佐藤 輝幸
輝幸 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2012131937A1 publication Critical patent/JPWO2012131937A1/ja
Application granted granted Critical
Publication of JP5725159B2 publication Critical patent/JP5725159B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/24Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、裸眼での立体画像を表示制御する測定装置、立体画像表示装置及び測定方法に関する。
両眼視による立体画像を鑑賞する際に、眼精疲労が起きることが知られている。このため立体映像制作における安全ガイドラインが周知されており、一例としては視差量をつけすぎないことが万人向けのコンテンツを制作する上で推奨されている。
しかし、立体視は個人差があるものであり、そのガイドラインを守ると立体感に乏しいと感じる人がいる一方で、ガイドライン内であっても長時間視聴し続けると疲れが発生する人、しない人が現れる。
両眼視の特性を計測する従来技術としては、三次元物体の提示位置に対する輻輳と眼の屈折状態の応答を測定し、「眼の屈折状態と輻輳の不一致」について調べる手法がある。
また、眼精疲労を起こさないディスプレイとして、観察者の眼の調節や輻輳がどのような状態にあるかに直接依拠して左眼用映像および右眼用映像を提示する手法がある。
さらに、瞳孔間隔から両眼の焦点位置を求め、「調節と輻輳の不一致」の範囲になったら、視差補正を行う手法がある。虹彩間間隔から両眼の注視点を求め、時間積算して閾値を超えたら、疲労状態と判定して警告を発する手法がある。
特許4223314号公報 特許3771964号公報 特開2004−333661号公報 特開2006−267578号公報
従来技術は、眼球の輻輳調節状態を監視し、鑑賞時における疲労をみるものである。ここで、図1は、輻輳調節の不一致を説明するための図である。図1では、ディスプレイのスクリーン10面に交差性視差のついた立体映像が表示されている。図1に示す場合、右目R1には左側の絵11、左目L1には右側の絵12が入ってきて、脳の中で像を結んだ結果、スクリーン10より飛び出した位置に立体映像13が定位することを示している。
このとき、目のピント(調節)は、左目L1、右目R1ともスクリーン10上の画像にあっており、一方で立体像として像を結んだ位置に目の寄り目がおきている。この寄り目になる機能を輻輳と呼ぶ。
自然界のものをみるとき、寄り目で見たものにピントを合わせる。これが2眼式立体画像では一致しないことから、自然なものでは感じない疲労感につながるとされる。
以上のように、輻輳調節の不一致は、眼精疲労の原因になるが、同じ鑑賞時間でも人によって疲れやすさが違う。よって、従来技術では、鑑賞者の立体視に対する適性といったことは加味されていなかった。したがって、立体視に対する個人特性を測定できていないという問題があった。
そこで、開示の技術は、上記問題点に鑑みてなされたものであり、立体視に対する個人特性を適切に測定することができる測定装置、立体画像表示装置及び測定方法を提供することを目的とする。
開示の一態様における測定装置は、裸眼での立体画像を表示する表示部に対し、第1画像及び第2画像による立体画像を表示させる制御後に、前記制御する一方の画像を、物体が含まれていない単色画像、または直前に表示していた前記第1画像若しくは前記第2画像と同じ背景色の単色画像を有する第3画像に変更する表示制御部と、前記表示部に表示された画像を見るユーザの眼位を撮像する撮像部と、前記第3画像と、前記第3画像へ変更される前の前記第1画像または前記第2画像とを見る前記ユーザの眼位の変化を、前記撮像部が撮像する撮像画像から測定する測定部と、を備え、前記測定部は、前記ユーザの左右の目の眼位の変化が対称であるかを測定す
開示の他の態様における立体画像表示装置は、裸眼での立体画像を表示する表示部と、第1画像及び第2画像による立体画像を前記表示部に表示させる制御をした後に、前記制御する一方の画像を、物体が含まれていない単色画像、または直前に表示していた前記第1画像若しくは前記第2画像と同じ背景色の単色画像を有する第3画像に変更する表示制御部と、前記第3画像と、前記第3画像へ変更される前の前記第1画像または前記第2画像とを見るユーザの眼位の変化を、撮像部が撮像する撮像画像から測定する測定部と、を備え、前記表示制御部は、前記測定部による測定結果に基づいて、左右の目の眼位の変化が対称である場合に前記表示部に表示させる立体画像が立体視されるよう視差を調整する。
開示の技術によれば、立体視に対する個人特性を適切に測定することができる。
輻輳調整の不一致を説明するための図。 両眼視における輻輳を説明するための図。 輻輳を除去することで発生する眼位のズレを説明するための図。 裸眼二眼式のディスプレイの一例を示す図。 右目に対し黒画像を表示し、右目を監視する例を示す図。 実施例1における測定装置の構成の一例を示すブロック図。 眼位の変化を示す図。 眼位の変化と画像上のピクセルとの関係の一例を示す図。 実施例1における測定処理の一例を示すフローチャート。 実施例2における立体画像表示装置の構成の一例を示すブロック図。 個人特性ファイルの一例をテーブル形式で表す図。 視差調整の一例を示す図。 視差角の一例を示す図。 画面上視差Ddを求めるための相似関係を示す図。 奥行き寄りの視差調整の一例を示す図。 飛び出し寄りの視差調整の一例を示す図。 実施例2における表示制御処理(その1)の一例を示すフローチャート。 実施例2における表示制御処理(その2)の一例を示すフローチャー。 実施例3における立体画像表示装置の構成の一例を示すブロック図。 実施例3における立体画像表示装置の処理の一例を示すフローチャート。 変形例における画像処理装置の構成の一例を示すブロック図。
100 測定装置
101、201、301 表示制御部
102 第1記憶部
103 表示部
104 撮像部
105 測定部
106、202、303 第2記憶部
200、300 立体画像表示装置
201 表示制御部
202 第2記憶部
302 虹彩認証部
まず、人間の眼球の輻輳の動きについて説明する。図2は、両眼視における輻輳を説明するための図である。図2に示す例では、3つの輻輳の機能について説明する。
(1)緊張性輻輳
緊張性輻輳は、まぶたをあけると光が入る刺激による輻輳をいう
(2)調整性輻輳
調整性輻輳は、ピント調整をすることで誘起される輻輳をいう。
(3)融像性輻輳
融像性輻輳は、頭の中で左右2つの像がひとつになるようにする輻輳をいう。
輻輳機能は、緊張がなければ外側に開散した状態から、筋肉をつかって(1)、(2)、(3)の順に内側に向けていく機能といえる。
次に、図3は、輻輳を除去することで発生する眼位のズレを説明するための図である。図3に示す例では、両目が近距離の物体20を一点に見つめた状態で、片目(例えば右目R1)を遮蔽板21により遮蔽することで輻輳(例えば、融像性輻輳)を除去する。
この場合、そのままの眼位を保つことができる人もいれば、輻輳が緩んで外側(黒目が離れる方向)に開いていく人もいることが知られている。後者の人は斜位と呼ばれる。斜位の人は、日常近いものを見るときに斜位になるのを目の筋肉で食い止めながら両眼視を行う。例えば、斜位を持つような人は、飛び出しの立体視に対しては疲れやすいといえる。
この眼球の動きをカメラのようなイメージセンサで追跡すれば、個人による眼位のズレを測定することができる。しかし、HMD(Head Mounted Display)を含むメガネ式の立体では、その眼球が覆われてしまい、黒目部分の追跡が難しくなる。
そこで、以下に説明する実施例では、裸眼式の立体画像表示装置を用いる。図4は、裸眼二眼式のディスプレイの一例を示す図である。図4に示すように、液晶パネル25の前に視差バリア26を設ける。液晶パネル25では、例えば、奇数列に左目用の画像、偶数列には右目用の画像を表示し、その画像を、視差バリア26で、左右の目に振り分けている。なお、画像は、静止画、動画(映像)を含む。
図4に示すように裸眼二眼式は、クロストークのない快適な視域(場所と観察距離)は限られるという特性をもつ。適切な場所や観察距離でなければ立体画像が適切に見ることができないからである。
よって、裸眼式の立体画像表示装置では、ディスプレイ位置に対して眼球位置はほぼ固定されると言える。視域の制限は、例えば、手に持つことができるという携帯型デバイスであればそれほどその制限を感じさせるものではない。
図5は、右目に対し黒画像を表示し、右目を監視する例を示す図である。図5に示すように、両眼視状態から片側画像を黒画像にすることで、輻輳(例えば、融像性輻輳)を除去する。黒画像は、光を遮断するため輻輳を除去する性質を有する画像である。
輻輳を除去する性質を有する画像は、黒画像に限定されるわけではなく、物体が含まれていない単色画像などでもよい。また、単色画像でも、直前に表示していた立体画像と同じ背景色を有する単色画像などがふさわしい。
図5に示す場合の黒目の様子を、裸眼での立体画像表示装置に取り付けたカメラ30で追跡することで、眼位のズレを測定することができる。この測定手法では、裸眼であるから眼位を直接観察することができる。また、視域が制限されることで、立体画像表示装置と目との距離がある程度固定されることで、カメラ30で黒目を観察しやすいという利点もある。
以上により、立体画像に対する疲労のしやすさの個人差を測定することができる。以下、上記の考えに基づく各実施例について、図面に基づいて説明する。
[実施例1]
<構成>
図6は、実施例1における測定装置100の構成の一例を示すブロック図である。図6に示す測定装置100は、表示制御部101、第1記憶部102、撮像部104、測定部105、第2記憶部106を備える。表示制御部101は、表示部103に接続されている。なお、表示部103は、測定装置に100に含まれてもよい。
表示制御部101は、裸眼二眼式の表示部103に対し、例えばテスト画像を第1記憶部102から取得し、取得したテスト画像をシーケンシャルに表示するよう制御する。また、表示制御部101は、テスト画像を表示制御した後に、眼位を測定するタイミングを表すタイミング信号を測定部105に出力する。
第1記憶部102は、テスト画像を記憶する。テスト画像は、始めは左右の画像(第1及び第2画像ともいう)で立体画像を表す画像であり、その立体画像の後に、一方の画像が、輻輳を除去する性質を有する画像に変更される画像(第3画像ともいう)である。また、テスト画像は、一方の画像を所定時間第3画像に変更した後に元の画像に戻し、その次に他方の画像を、所定時間第3画像に変更してもよい。これは、左右の目それぞれに対して、第3画像を表示するためである。第3画像は、前述したように、物体が含まれない単色画像であり、黒色のベタ画像が望ましい。また、第3画像は、第1及び第2画像と背景色が同じ単色画像でもよい。
表示部103は、裸眼での立体画像を表示可能とする表示装置である。表示部103は、表示制御部101により表示制御される画像を表示する。表示部103は、例えば、図4や5で説明したような液晶パネル25や視差バリア26を有する。
表示部103は、鑑賞者(ユーザ)に正対して位置する。表示部103は、例えば携帯型デバイスの一部であれば、画素ピッチが小さく、鑑賞者が手に持って適切に鑑賞できる視域の位置に据えることになる。この距離は、表示部103の性能で定められている。
撮像部104は、例えばCCD(Charge
Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)を有するイメージセンサである。撮像部104は、例えば、表示部103の上部などに取り付けられ、鑑賞者の目(眼位)を撮像する。撮像部104は、鑑賞者の目の部分を撮像し、キャプチャされた撮像画像を測定部105に出力する。
測定部105は、表示制御部101から取得したタイミング信号に同期して、撮像画像から黒目の眼位の変化を測定する。眼位とは、ここでは、黒目の位置を表す。タイミング信号は、例えば、立体画像を表示して数秒後に出力され、第3画像に変更してから5秒後などに出力される。
第2記憶部106は、測定部105による眼位の測定結果を記憶する。
(眼位測定処理)
次に、測定部105による眼位測定処理について説明する。図7は、眼位の変化を示す図である。図7に示す例は、撮像部104により撮像された眼球の位置を示す。
図7(A)は、はじめに提示した両眼融像のテスト画像鑑賞中の黒目の様子を示す。そして、一方の画像(右目用の画像)を例えば黒画像にする。つまり、図7(A)に示す右目R2の輻輳を除去する。
図7(B)は、輻輳の除去後、黒目の位置がずれた様子を示す。図7(B)に示す右目R3の黒目は、図7(A)に示す右目R2の黒目の位置よりも外側にずれている。この黒目の位置ズレを、測定部105が測定する。この黒目の位置ズレは、眼位の変化であり、例えば、画像のピクセル数で表すことができる。一般的に、角度にして例えば5度以上黒目がずれる人は、立体視が得意ではないとして要注意とされている。
図8は、眼位の変化と画像上のピクセルとの関係の一例を示す図である。図8に示す例では、鑑賞距離Vd=300mm、両眼融像のテスト画像の定位位置Wd=220mm、眼間距離Ce=63mm、眼球の直径Re=24mmとする。また、輻輳角θ1=16度、閾値θ2=5度とする。眼間距離は、一般的には65mmであるが、寄り目状態になっているので、ここでは63mmとする。
このとき、見合う角度θ3は、(θ1/2)−θ2=(16/2)−5=3度になる。ここで、見合う角度と三角関数とを用いて、眼位の変化は2.1mmと計算される。
また、撮像部104の水平画角と横解像度とから、ピクセル数と幅mmとの対応が定まる。例えば、水平画角60度、横解像度1600ピクセルの場合を考える。この場合、次の式により、ピクセル数と幅mmとの比Raが算出される。
L1=2×300×tan(60/2) ・・・式(1)
L1=200×√3
比Raは、L1/ピクセル数により算出される。
比Ra=200×√3/1600 ・・・式(2)
=0.216mm/pixel
これにより、閾値θ2=5度だけ黒目が変化したときのピクセル数は、2.1/0.216=9.722となり、約10ピクセル相当であると判断できる。このように、測定部105は、眼位のズレをピクセル数で表すことができる。
<動作>
次に、実施例1における測定装置100の動作について説明する。図9は、実施例1における測定処理の一例を示すフローチャートである。図9に示すステップS101で、表示制御部101は、第1記憶部102に記憶される両眼融像のテスト画像を読み出し、表示部103にテスト画像を表示するよう制御する。テスト画像は、例えば、1つの物体が立体視されるような左右の画像(第1及び第2画像)である。表示制御部101は、眼位を測定するタイミングを知らせるタイミング信号を測定部105に出力する。ここでのタイミング信号は、例えば、テスト画像の立体画像が表示された後に、立体画像を認識するのにかかる数秒後に出力される。
ステップS102で、表示制御部101は、立体視されるテスト画像を表示制御してから一定時間経過した後、例えば、輻輳(例えば、融像性輻輳)を除去する性質を有する画像(第3画像)を第1記憶部102から読出し、一方の画像(例えば第1画像)を、この第3画像に変更するよう制御する。第3画像は、ここでは、黒画像とする。表示制御部101は、第3画像に変更した後、眼位を測定するタイミングを知らせるタイミング信号を測定部105に出力する。ここでのタイミング信号は、例えば、テスト画像の第3画像が表示された後に、輻輳が除去されるのにかかる所定時間(例えば5秒)後に出力される。
ステップS103で、撮像部104は、鑑賞者の目の動きを撮影し、監視する。撮影時に撮像された画像は、順次測定部105に出力される。
ステップS104で、測定部105は、表示制御部101から取得したタイミング信号に基づき、眼位のズレを測定する。例えば、測定部105は、第1及び第2画像のタイミング信号に同期して眼位を測定する。
また、測定部105は、第3画像のタイミング信号に同期して眼位を測定する。例えば、測定部105は、第3画像に変更される前の眼位の位置と、第3画像に変更されて所定時間経った後の眼位の位置とから、眼位のズレを測定する。
所定時間は、例えば、目が外に開く場合に、一般的にかかる時間(例えば5秒)を設定すればよい。測定部105は、テスト画像の変更前後における眼位の位置の差分をとるなどして眼位のズレを測定する。
ステップS105で、表示制御部101は、再度立体視させるため、表示制御する画像を立体視されるテスト画像に戻してから一定時間経過した後、多方の画像(例えば第2画像)を、第3画像に変更するよう制御する。第3画像に変更し、眼位を測定するタイミングを知らせるタイミング信号を測定部105に出力する。
ステップS106で、撮像部104は、鑑賞者の目の動きを撮影し、監視する。撮影時に撮像された画像は、順次測定部105に出力される。
ステップS107で、測定部105は、表示制御部101から取得したタイミング信号に基づき、眼位のズレを測定する。例えば、測定部105は、第1及び第2画像のタイミング信号に同期して眼位の位置を測定し、第3画像のタイミング信号に同期して眼位の位置を測定する。測定部105は、テスト画像の変更前後における眼位の位置の差分をとるなどして眼位のズレを測定する。これにより、片目毎の眼位のズレを測定することができる。片目毎の眼位のズレは、第2記憶部106に記憶される。
以上、実施例1によれば、立体視に対する個人特性を適切に測定することができる。また、裸眼による立体視は視域が限られるので、撮像部104は、適切に目の位置を撮影することができる。
[実施例2]
次に、実施例2における立体画像表示装置について説明する。実施例2では、実施例1において測定した立体視に対する個人特性を用いて、立体画像の視差を調整する。例えば、立体視が得意な人は、飛び出し方向に立体視させるようにし、立体視が不得手な人は奥行き方向に立体視させるようにする。
<構成>
図10は、実施例2における立体画像表示装置200の構成の一例を示すブロック図である。図10に示す構成で、図6に示す構成と同様の構成のものは同じ符号を付し、その説明を省略する。以下、主に表示制御部201、第2記憶部202について説明する。測定部105は、片目毎の測定結果を第2記憶部202に書き込む。
第2記憶部202は、個人特性ファイルを記憶する。個人特性ファイルは、片目毎の眼位のズレの対称性などにより立体視の得手不得手を判定するファイルである。
図11は、個人特性ファイルの一例をテーブル形式で表す図である。図11に示すように、眼位のズレ量が閾値未満の場合、ズレ量は小とし、眼位のズレ量が閾値以上である場合、ズレ量は大とする。この閾値は、例えば、角度で表すと5度とする。また、閾値は、角度に相当するピクセル数で表してもよい。
また、左右の目のズレ量に対称性があるか否かで立体視の得手不得手、立体視弱者を判定することができる。対称性がある場合は「良好」、対称性がない場合は「不良」とする。
例えば、左右の眼位のズレ量がともに小さくて対称性がある場合、立体視を得意とし、立体視表示に眼精疲労を感じにくいと判定できる。この場合、立体視が得意であるため、飛び出し方向(飛び出し寄り)に左右の画像の視差が調整されればよい。
また、左右の眼位のズレ量が大きくて対称性がある場合、立体視は可能であるが、立体視表示に眼精疲労を感じやすいと判定できる。この場合、立体視が不得手なため、奥行き方向(奥行き寄り)に左右の画像の視差が調整されればよい。
なお、飛び出し寄りの調整とは、左画像を右へ、右画像を左へシフトし、交差性の視差をつけることを意味する。また、奥行き寄りの調整とは、左画像を左へ、右画像を右へシフトし、同側性の視差をつけることを意味する。
また、左右の眼位のズレが例えば、一方は「大」、他方は「小」である場合、立体視弱者と判定できる。この場合、立体表示に注意を促すなどの措置をとることができる。
第2記憶部202は、図11に示すような判定が行われた、個人の眼位のズレ量を用いた個人特性ファイル(ズレ小で良好、ズレ大で良好、又は不良)を記憶しておくようにしてもよい。
図10に戻り、表示制御部201は、片目毎の眼位のズレを測定するのは実施例1と同様である。表示制御部201は、第2記憶部202に記憶された測定結果(立体視に対する個人特性)に基づいて、表示制御部201に入力される立体映像(例えば、テレビ番組、映画など)の視差を調整する。
図12は、視差調整の一例を示す図である。図12に示す例では、画像41は、左画像を示し、画像42は、右画像を示す。表示制御部201は、立体画像を飛び出し方向に調整する場合は、左画像41を右へシフトし、右画像42を左へシフトし、立体画像43になるよう視差を調整する。
表示制御部201は、立体画像を奥行き方向に調整する場合は、左画像41を左へ、右画像42を右へシフトし、立体画像44になるように調整する。なお、調整量は、飛び出し方向の場合も、奥行き方向の場合も立体表示のガイドラインで決められる所定値以内で調整するようにすればよい。
表示制御部201は、左右の眼位のズレが対称でなく、「立体視注意」の場合は、2D(Dimension)表示を切り替え可能にしたり、鑑賞時間を短くしたり、鑑賞自体に留意するよう字幕テロップを出したりするなどの表示制御を行う。
(視差調整処理)
次に、図13〜16を用いて、表示制御部201における視差調整処理について説明する。図13は、視差角の一例を示す図である。図13〜16で示す例では、鑑賞距離Vd=300mm、眼球直径Re=24mm、ディスプレイ面を見たときの眼間距離Ceを64mmとする。
このとき、表示部103(ディスプレイ)を見合う角度βは12.2度となる。さらに表示する立体画像のコンテンツの視差の条件として±1度の視差以内という条件をつけると、α=13.2度、γ=11.2度となる。
ここで、α、γの視差角での立体定位位置、Pn、Ppを考える。表示部103と眼球の眼底のつくる三角形の底辺Beは、次の式で求められる。
Be=64×(Vd+Re)/Vd=69.1(mm) ・・・式(3)
この三角形の底辺Beとα(ないしγ)の角をなす二等辺三角形の底辺Beに下ろしてできる直角三角形を用いると、次の式が成り立つ。
(Be/2)/(Vd−Pn+Re)=tan(13.2/2) ・・・式(4)
これにより、Pnは、25.3mmと求められる。
同様にして、視差角γと直角三角形を用いると、次の式が成り立つ。
(Be/2)/(Vd+Pp+Re)=tan(11.2/2) ・・・式(5)
これにより、Ppは、28.5mmと求められる。
図14は、画面上視差Ddを求めるための相似関係を示す図である。図14に示す定位位置Sdの画面上の視差Ddは、点線枠の三角形51と斜線の三角形52との三角形の相似を用いると次の関係が成り立つ。
Dd=Be×Sd/(Vd+Sd+Re) ・・・式(6)
この式(6)は、Sd<0の場合は飛出しのときを表す。Sd=−Pnの場合、Dd=−5.85、Sd=Ppの場合、Dd=5.59である。
図15は、奥行き寄りの視差調整の一例を示す図である。図15に示す例のように、奥行き寄りに視差を調整する場合、表示制御部201は、例えば、Pnの半分の位置を表示部103面になるように視差を調整する。この場合、Sd=−Pn/2を代入して、Dd=−2.82となる。
このDdを0にするように表示制御部201は視差調節する(+2.82)と、もっとも奥にあった定位の位置の視差量Ddが5.59+2.82=8.41のとき、以下の式からSdが求められる。
8.41=Be×Sd/(Vd+Sd+Re) ・・・式(7)
Sdは、44.8となり、Ppより大きくなるので確かに奥行きが増えている。
図16は、飛び出し寄りの視差調整の一例を示す図である。図16に示す例のように、飛び出し寄りに視差を調整する場合、表示制御部201は、例えば、Ppの半分の位置を表示部103面になるように視差を調整する。この場合、Sd=Pp/2を代入して、Dd=2.92となる。
このDdを0にするように表示制御部201は視差調節する(−2.92)と、もっとも手前にあった定位の位置の視差量Ddが−5.85−2.92=−8.77のとき、以下の式からSdが求められる。
−8.77=Be×(−Sd)/(Vd−Sd+Re) ・・・式(8)
Sdは36.22となり、Pnより大きくなるので確かに飛び出しが増えている。
<動作>
次に、実施例2における立体画像表示装置の動作について説明する。実施例2における立体画像表示装置は、実施例1と同様の測定処理を行い、測定結果に基づいて、立体画像表示制御処理を行う。以下では立体画像表示制御処理について説明する。実施例2における立体画像表示制御処理は、複数考えられるが、以下では2つの例を説明する。
(表示制御処理(その1))
図17は、実施例2における表示制御処理(その1)の一例を示すフローチャートである。図17に示すステップS201で、表示制御部201は、測定された鑑賞者の立体視に対する個人特性(測定結果)を第2記憶部202から読み出す。
読み出した測定結果が、例えば、「ズレ大で良好」であり、奥行き寄りの調整を示せば、表示制御部201は、表示部103より手前の位置(Sd<0)で、新たに0視差としたい定位位置Sdを決める。
読み出した測定結果が、「ズレ小で良好」であり、飛び出し寄りの調整を示せば、表示制御部201は、表示部103より奥の位置(Sd>0)で、新たに0視差としたい定位位置Sdを決める。
ステップS202で、表示制御部201は、Sdの画面上の視差量Ddを式(6)により求める。
ステップS203で、表示制御部201は、表示部103の大きさと解像度とから、Ddを表示部103の画面上のピクセル値に換算する。表示制御部201は、式(1)や式(2)の考えに基づき、ピクセル値を求めることができる。
ステップS204で、表示制御部201は、求めたピクセル数が負ならば、左右の画像を各々ピクセル数の半分ずつ同側方向にシフトする。また、表示制御部201は、求めたピクセル数が正ならば、左右の画像を各々ピクセル数の半分ずつ交差方向にシフトする。
なお、表示制御部201は、測定結果が、「不良」を示す場合、2D表示に切り替え可能にしたり、鑑賞時間を短くしたりなどの注意喚起を行うよう制御してもよい。
(表示制御処理(その2))
図18は、実施例2における表示制御処理(その2)の一例を示すフローチャートである。図18に示す処理は、眼位のズレ(変化量)に応じて視差量を調整する処理である。
図18に示すステップS301で、表示制御部201は、左右の眼位の変化量を第2記憶部202から読み出す。ここで、左の眼位の変化量をΔ(L)、右の眼位の変化量をΔ(R)とする。
表示制御部201は、変化量Δ(L)とΔ(R)とが対称か否かを判定する。対称の判定は、前述したように、閾値よりも小さい同士、又は閾値よりも大きい同士の場合に対称と判定し、一方が閾値よりも小さい、他方が閾値よりも大きい場合を非対称とする。対称であれば(ステップS301−YES)ステップS302に進み、非対象であれば(ステップS301−NO)ステップS306に進む。
ステップS302で、表示制御部201は、新たに0視差としたい定位位置Sdを次の式により求める。
Sd=−K×(眼位変化量Δ−閾値Th) ・・・式(9)
K:定数
眼位変化量Δ:眼位変化量Δ(L)とΔ(R)の大きい方
閾値Th:図8に示す例で説明すると、5度に対応する変位2.1mmをピクセル換算した値
なお、定数Kは、図8に示す例で説明すると、眼位変化量Δは最大で8度(平行視)であることを勘案して、そのときに視差角1度の飛び出し量となるように定める。また、眼位変化量Δは、Δ(L)とΔ(R)との平均でもよい。
ステップS303からステップS305は、ステップS202からステップS204までの処理と同様である。
ステップS306で、表示制御部201は、左右の眼位の変化量が非対称であるので、例えば、鑑賞者に対して立体視の注意喚起を促す画面を表示するよう制御する。
以上の処理により、表示制御部201は、閾値5度を基準として、それより眼位変化量の大きいものは、Sd<0なる定位位置が表示部103上で0視差となるよう視差調整量を可変に制御することができる。一方、表示制御部201は、閾値より眼位変化量の小さいものは、Sd>0なる定位位置が表示部103上で0視差となるように、眼位変化量に応じて視差調整量を可変に制御することができる。
以上、実施例2によれば、実施例1において測定した立体視に対する個人特性を用いて、立体画像の視差を調整することができる。例えば、立体視が得意な人は、飛び出し方向に立体視させるようにし、立体視が不得手な人は奥行き方向に立体視させるようにすることができる。また、実施例2によれば、眼位の変化量に応じて視差量を調整することができる。
[実施例3]
次に、実施例3における立体画像表示装置300について説明する。実施例3では、撮像した画像内の目の虹彩を用いて個人認証を行い、虹彩と測定結果(個人特性)とを関連付けて管理する。
<構成>
図19は、実施例3における立体画像表示装置300の構成の一例を示すブロック図である。図19に示す立体画像表示装置300において、図6と同様の構成を示すものは同じ符号を付し、その説明を省略する。
虹彩認証部302は、撮像部104により撮像される撮像画像を取得し、撮像画像に含まれる目を用いて、第2記憶部303にアクセスして虹彩認証を行う。虹彩の認証処理は、公知の技術を用いればよい。第2記憶部303は、例えば、虹彩による個人認証データベースを備える。
虹彩認証部302は、虹彩認証が成功し、虹彩に測定結果が対応付けられている場合は、測定結果を取得し、表示制御部301に出力する。虹彩認証が成功するとは、第2記憶部303に既に虹彩が記憶されている場合などをいう。
虹彩認証部302は、認証が成功しても測定結果が対応付けられていない場合や新規に虹彩を登録する場合などに、表示制御部301にテスト画像を表示するよう要求する。
第2記憶部303は、虹彩の認証情報と、測定結果とを関連付けて管理する。
例えば、第2記憶部303は、虹彩と、個人情報と、その個人の立体視に対する個人特性とを関連付けて管理する。
表示制御部301は、虹彩認証部302からテスト画像の表示要求を受けた場合、前述したようにテスト画像を表示制御する。これにより、個人特性の測定が始まり、それ以降の処理は、実施例2で説明した通りである。
表示制御部301は、虹彩認証部302から測定結果を取得した場合、その測定結果に基づいて入力される立体画像の視差を調整する。
<動作>
次に、実施例3における立体画像表示装置300の動作について説明する。図20は、実施例3における立体画像表示装置300の処理の一例を示すフローチャートである。
図20に示すステップS401で、撮像部104は、鑑賞者の目近傍を撮影し、撮像した撮像画像を虹彩認証部302に出力する。
ステップS402で、虹彩認証部302は、撮像画像に含まれる虹彩に基づいて、虹彩認証を行う。
ステップS403で、虹彩認証部302は、認証した虹彩に対する測定結果が第2記憶部303にあるか否かを判定する。測定結果が記憶されていれば(ステップS403−YES)ステップS405に進み、測定結果が記憶されていなければ(ステップS403−NO)ステップS404に進む。
ステップS404では、図9に示す測定処理が行われる。
ステップS405では、図17又は図18に示す表示制御処理が行われる。いずれの表示制御処理が行われるかは、表示制御部301に予め設定されていればよい。
以上、実施例3によれば、虹彩認証を行うことで、虹彩に関連付けて測定結果が既に記憶されている場合は、毎回測定処理を行わなくてもよい。また、虹彩認証部は、実施例2に備える例について説明したが、実施例1における測定装置に備えるようにしてもよい。
[変形例]
図21は、変形例における画像処理装置400の構成の一例を示すブロック図である。図21に示すように、画像処理装置400は、制御部401、主記憶部402、補助記憶部403、ドライブ装置404、入力部406、表示制御部407、撮像部408を備える。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
制御部401は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部401は、主記憶部402や補助記憶部403に記憶されたプログラムを実行する演算装置であり、入力部406や記憶装置からデータを受け取り、演算、加工した上で、表示制御部407や記憶装置などに出力する。
また、制御部401は、補助記憶部403などに記憶されている測定処理プログラム、又は表示制御処理プログラムを実行し、実施例において説明した処理を行う。
主記憶部402は、ROM(Read Only
Memory)やRAM(Random
Access Memory)などであり、制御部401が実行する基本ソフトウェアであるOS(Operating System)やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部403は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
ドライブ装置404は、記録媒体405、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
また、記録媒体405に、所定のプログラムを格納し、この記録媒体405に格納されたプログラムはドライブ装置404を介して画像処理装置400にインストールされる。インストールされた所定のプログラムは、画像処理装置400により実行可能となる。
入力部406は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部406は、ユーザが制御部401に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
表示制御部407は、LCD(Liquid
Crystal Display)等の表示部に対し、制御部401から入力される表示データに応じた表示処理を制御する。表示制御部407の処理は、制御部401による処理であってもよい。
撮像部408は、例えばCCD(Charge
Coupled Device)を有し、例えば左右の目を含む撮像画像を生成する。撮像部408により撮像された撮像画像に対し、制御部401により、各実施例で説明した眼位のズレが測定される。
画像処理装置400は、例えばカメラを有する表示装置、携帯端末装置などである。また、画像処理装置400は、撮像部408を備える裸眼立体表示機能を有する携帯型の情報処理装置であってもよい。
なお、各実施例では、説明上裸眼二眼式を用いて説明したが、多眼式であっても、二眼の映像データを多眼の表示画素に分割して表示できれば、二眼式に限定されるものではない。
前述した各実施例で説明した測定部や表示制御部は、例えば、制御部401により実現されうる。また、各実施例における各部を1又は複数の半導体集積化回路として、携帯端末装置や撮影装置や情報処理装置などに実装することも可能である。
また、前述した実施例で説明した測定処理や表示制御処理を実現するためのプログラムを記録媒体に記録することで、実施例での測定処理や表示制御処理をコンピュータに実施させることができる。
また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した処理を実現させることも可能である。なお、記録媒体は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

Claims (5)

  1. 裸眼での立体画像を表示する表示部に対し、第1画像及び第2画像による立体画像を表示させる制御後に、前記制御する一方の画像を、物体が含まれていない単色画像、または直前に表示していた前記第1画像若しくは前記第2画像と同じ背景色の単色画像を有する第3画像に変更する表示制御部と、
    前記表示部に表示された画像を見るユーザの眼位を撮像する撮像部と、
    前記第3画像と、前記第3画像へ変更される前の前記第1画像または前記第2画像とを見る前記ユーザの眼位の変化を、前記撮像部が撮像する撮像画像から測定する測定部と、
    を備え
    前記測定部は、前記ユーザの左右の目の眼位の変化が対称であるかを測定する測定装置。
  2. 裸眼での立体画像を表示する表示部と、
    第1画像及び第2画像による立体画像を前記表示部に表示させる制御をした後に、前記制御する一方の画像を、物体が含まれていない単色画像、または直前に表示していた前記第1画像若しくは前記第2画像と同じ背景色の単色画像を有する第3画像に変更する表示制御部と、
    前記第3画像と、前記第3画像へ変更される前の前記第1画像または前記第2画像とを見るユーザの眼位の変化を、撮像部が撮像する撮像画像から測定する測定部と、を備え、
    前記表示制御部は、
    前記測定部による測定結果に基づいて、左右の目の眼位の変化が対称である場合に前記表示部に表示させる立体画像が立体視されるよう視差を調整する立体画像表示装置。
  3. 前記表示制御部は、
    前記左右の目の眼位の変化が所定値より小さく、かつ対称である場合、前記立体画像が飛び出る方向に立体視されるよう視差を調整し、前記左右の目の眼位の変化が前記所定値より大きく、かつ対称である場合、前記立体画像が奥行き方向に立体視されるよう視差を調整する請求項記載の立体画像表示装置。
  4. 虹彩と前記測定結果とを関連付けて記憶する記憶部と、
    前記撮像画像内の虹彩を用いて認証を行い、該虹彩に対応する測定結果が前記記憶部に記憶されていない場合、前記表示制御部に表示要求を行う認証部と、をさらに備え、
    前記表示制御部は、
    前記認証部から表示要求を受けた場合、前記表示部に対して前記第1画像、前記第2画像及び前記第3画像を表示させる制御をする請求項2または3に記載の立体画像表示装置。
  5. 裸眼での立体画像を表示する表示部に対し、第1画像及び第2画像による立体画像を表示させる制御後に、前記制御する一方の画像を、物体が含まれていない単色画像、または直前に表示していた前記第1画像若しくは前記第2画像と同じ背景色の単色画像を有する第3画像に変更し、
    前記表示部に表示された画像を見るユーザの眼位を撮像部により撮像し、
    前記第3画像と、前記第3画像へ変更される前の前記第1画像または前記第2画像とを見る前記ユーザの眼位の変化を、前記撮像部が撮像する撮像画像から測定する処理をコンピュータが実行し、
    前記測定する処理は、前記ユーザの左右の目の眼位の変化が対称であるかを測定する測定方法。
JP2013506943A 2011-03-30 2011-03-30 測定装置、立体画像表示装置及び測定方法 Expired - Fee Related JP5725159B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/058016 WO2012131937A1 (ja) 2011-03-30 2011-03-30 測定装置、立体画像表示装置及び測定方法

Publications (2)

Publication Number Publication Date
JPWO2012131937A1 JPWO2012131937A1 (ja) 2014-07-24
JP5725159B2 true JP5725159B2 (ja) 2015-05-27

Family

ID=46929762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506943A Expired - Fee Related JP5725159B2 (ja) 2011-03-30 2011-03-30 測定装置、立体画像表示装置及び測定方法

Country Status (2)

Country Link
JP (1) JP5725159B2 (ja)
WO (1) WO2012131937A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012393196A1 (en) * 2012-10-22 2015-10-01 Realvision S.R.L. Network of devices for performing optical/optometric/ophthalmological tests, and method for controlling said network of devices
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
GB2618354A (en) * 2022-05-05 2023-11-08 Envisics Ltd Head-up display

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197868A (ja) * 1992-12-31 1994-07-19 Canon Inc 眼屈折計
JPH09247711A (ja) * 1996-03-12 1997-09-19 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JPH11155814A (ja) * 1997-11-28 1999-06-15 Nidek Co Ltd 視機能検査装置
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
JP2002232917A (ja) * 2001-01-31 2002-08-16 Mixed Reality Systems Laboratory Inc 視点位置検出装置、視点位置検出方法及び立体画像表示システム
JP2004333661A (ja) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
JP2005230459A (ja) * 2004-02-23 2005-09-02 Tsuneto Iwasaki 三次元ディスプレイを用いた輻湊性調節対輻湊比の測定方法
JP2008077008A (ja) * 2006-09-25 2008-04-03 Casio Comput Co Ltd 表示装置
JP2008278302A (ja) * 2007-05-01 2008-11-13 Sharp Corp テレビジョン受像機及び視聴情報取得機器
JP2010237410A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 画像表示装置および方法並びにプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197868A (ja) * 1992-12-31 1994-07-19 Canon Inc 眼屈折計
JPH09247711A (ja) * 1996-03-12 1997-09-19 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JPH11155814A (ja) * 1997-11-28 1999-06-15 Nidek Co Ltd 視機能検査装置
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
JP2002232917A (ja) * 2001-01-31 2002-08-16 Mixed Reality Systems Laboratory Inc 視点位置検出装置、視点位置検出方法及び立体画像表示システム
JP2004333661A (ja) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
JP2005230459A (ja) * 2004-02-23 2005-09-02 Tsuneto Iwasaki 三次元ディスプレイを用いた輻湊性調節対輻湊比の測定方法
JP2008077008A (ja) * 2006-09-25 2008-04-03 Casio Comput Co Ltd 表示装置
JP2008278302A (ja) * 2007-05-01 2008-11-13 Sharp Corp テレビジョン受像機及び視聴情報取得機器
JP2010237410A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 画像表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
WO2012131937A1 (ja) 2012-10-04
JPWO2012131937A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
US8648876B2 (en) Display device
JP4787905B1 (ja) 画像処理装置および方法並びにプログラム
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US20110316987A1 (en) Stereoscopic display device and control method of stereoscopic display device
JP2012010309A (ja) 立体視映像表示装置、および立体視映像表示装置の動作方法
JP2012141461A (ja) ヘッド・マウント・ディスプレイ
US9167223B2 (en) Stereoscopic video processing device and method, and program
WO2022267573A1 (zh) 裸眼3d显示模式的切换控制方法、介质和系统
US20150163475A1 (en) Method and system for disparity adjustment during stereoscopic zoom
JP5990939B2 (ja) 立体視訓練支援装置、立体視訓練支援システム、画像処理装置、画像処理方法、及びプログラム
JP2013208260A (ja) 情報提示装置、情報提示システム、サーバ、情報提示方法及びプログラム
JP4634863B2 (ja) 立体視画像生成装置及び立体視画像生成プログラム
JP5096643B1 (ja) 輻輳能力判定装置及びその方法
JP5725159B2 (ja) 測定装置、立体画像表示装置及び測定方法
JP2010171628A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP4787369B1 (ja) 画像処理装置および方法並びにプログラム
AU2011348147B2 (en) Method and system for disparity adjustment during stereoscopic zoom
TW201244457A (en) 3D video camera and associated control method
JP2010267192A (ja) 立体結像のタッチ制御装置
WO2013042392A1 (ja) 立体画像評価装置
JP2001218231A (ja) 立体画像を表示する装置および方法
WO2011114767A1 (ja) 立体画像表示装置、立体画像撮像装置、テレビジョン受像機、遊技装置、記録媒体および立体画像の伝送方法
JP2018191079A (ja) 多焦点視覚出力方法、多焦点視覚出力装置
JP2011211754A (ja) 画像処理装置および方法並びにプログラム
JP2012133179A (ja) 立体視装置、及び立体視装置の制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150316

R150 Certificate of patent or registration of utility model

Ref document number: 5725159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees