JP7312585B2 - 位置ずれ補正量算出装置及びそのプログラム - Google Patents

位置ずれ補正量算出装置及びそのプログラム Download PDF

Info

Publication number
JP7312585B2
JP7312585B2 JP2019059700A JP2019059700A JP7312585B2 JP 7312585 B2 JP7312585 B2 JP 7312585B2 JP 2019059700 A JP2019059700 A JP 2019059700A JP 2019059700 A JP2019059700 A JP 2019059700A JP 7312585 B2 JP7312585 B2 JP 7312585B2
Authority
JP
Japan
Prior art keywords
correction amount
display
element image
positional deviation
elemental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059700A
Other languages
English (en)
Other versions
JP2020161994A (ja
Inventor
人誌 日浦
健介 久富
淳 洗井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2019059700A priority Critical patent/JP7312585B2/ja
Publication of JP2020161994A publication Critical patent/JP2020161994A/ja
Application granted granted Critical
Publication of JP7312585B2 publication Critical patent/JP7312585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置及びそのプログラムに関する。
従来のインテグラルフォトグラフィ(IP:Integral Photography)方式では、1台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮像する。このとき、カメラがレンズアレイの焦平面を撮像するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、微小レンズの位置に応じた微小画像(要素画像)が並んだ要素画像群となる。この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数がカメラの解像度に依存する。
IP立体映像の解像度は、ディスプレイの画素間隔に依存する。従って、IP方式では、画素間隔が狭いほど高画質な立体映像を表示することが可能になる。その一方、画素が細かくなるにつれて、レンズアレイとディスプレイとの位置合せに高い精度が要求されることになる。
光学系の幾何学歪みは、レンズアレイとディスプレイとの位置ずれの原因の一つである。このことから、再生立体映像の劣化は、幾何学歪みに起因して大きくなる。そこで、IP方式においても、立体撮像装置の位置ずれを補正する発明が提案されている(特許文献1)。この特許文献1に記載の発明は、各要素レンズの位置を検出して、立体撮像装置で撮像された要素画像群の表示位置を、レンズアレイの要素レンズの位置に合わせて補正するものである。
前記した特許文献1に記載の発明は、直視型のディスプレイに適用できる。ディスプレイでは歪みが生じにくいため、レンズアレイの配列誤差に応じて要素画像群の表示位置を補正することになる。すなわち、レンズアレイとディスプレイを接合した立体表示装置を一旦製造すると、レンズアレイとディスプレイとの位置合せを再度行うのは極めて困難である。そこで、レンズアレイとディスプレイとの位置ずれを打ち消すように、要素画像群の表示位置を補正する。
特許第4272464号
しかし、レンズアレイは、ディスプレイと異なり、熱によって物理的に伸縮することがあり、その伸縮が原因となり、レンズアレイが所定の位置からずれることがある。さらに、ディスプレイに対してレンズアレイが回転した状態で接合された場合も、レンズアレイが所定の位置からずれてしまう。
レンズアレイに伸縮がある状態で、中心の要素画像と中心の要素レンズとの位置が一致している場合を考える。この場合、中心から離れる程、要素レンズと要素画像との位置ずれ量が大きくなる。さらに、レンズアレイがディスプレイに対して回転していることもある。このように、ディスプレイとレンズアレイとの位置ずれ量が一定でなく、レンズアレイを介してディスプレイを観察するので、位置ずれを高精度で補正するのが困難という問題がある。
そこで、本発明は、位置ずれ補正量を高精度に算出できる位置ずれ補正量算出装置及びそのプログラムを提供することを課題とする。
前記した課題に鑑みて、本発明に係る位置ずれ補正量算出装置は、要素画像が配列された要素画像群を表示するディスプレイと、要素レンズが2次元状に配列されたレンズアレイとを備える立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置であって、表示手段と、第1中心座標算出手段と、位置ずれ量算出手段と、位置補正量算出手段と、第2中心座標算出手段と、角度補正量算出手段とを備える構成とした。
かかる位置ずれ補正量算出装置によれば、表示手段は、単色要素画像が配列された単色要素画像群を、単色要素画像のサイズが縮小されるようにディスプレイに表示する。このように、単色要素画像のサイズを縮小すると、撮像画像上では、ディスプレイと単色要素画像との位置ずれが識別しやすくなる。
第1中心座標算出手段は、ディスプレイで再生される単色要素画像群を撮影した撮像画像が撮像カメラから入力され、入力された撮像画像の画像中心に最も近い第1単色要素画像領域を検出し、検出した第1単色要素画像領域の中心座標を算出する。
位置ずれ量算出手段は、第1単色要素画像領域の中心座標と予め設定したディスプレイの中心座標との位置ずれ量を算出する。
位置補正量算出手段は、要素画像群の位置補正量を算出する。
第2中心座標算出手段は、第1単色要素画像領域に隣接する第2単色要素画像領域の中心座標を算出する。
ここで、単色要素画像群の回転が大きくなる程、撮像画像上では、第1単色要素画像領域と第2単色要素画像領域との間隔が短くなる。そこで、角度補正量算出手段は、第1単色要素画像領域と第2単色要素画像領域との間隔が最長になるように、要素画像群の角度補正量を算出する。
位置補正量算出手段は、要素レンズの焦点距離とディスプレイから撮像カメラまでの距離との比を前記位置ずれ量に乗算することで、要素画像群の位置補正量を算出する。
ここで、単色要素画像群の回転が大きくなる程、撮像画像上では、第1単色要素画像領域と第2単色要素画像領域との間隔が短くなる。そこで、角度補正量算出手段は、第1単色要素画像領域の中心座標と第2単色要素画像領域の中心座標との間隔が最長になるように、要素画像群の角度補正量を算出する。
本発明によれば、単色要素画像のサイズを縮小することで、ディスプレイと単色要素画像との中心位置のずれが識別しやすくなり、位置ずれ補正量を高精度に算出することができる。この位置ずれ補正量を用いれば、レンズアレイが伸縮する場合でも、ディスプレイとレンズアレイとの位置ずれを高い精度で補正可能となり、IP立体映像の画質を向上させることができる。
(a)は従来のIP立体映像表示装置の各構成を説明する説明図であり、(b)は従来のIP立体映像表示装置の概略構成図である。 実施形態において、(a)は要素画像群を説明する説明図であり、(b)はレンズアレイを説明する説明図である。 実施形態において、白色要素画像群を説明する説明図であり、(a)は白色要素画像のサイズが100%であり、(b)は白色要素画像のサイズが50%である。 実施形態において、観察距離を説明する説明図である。 実施形態において、白色要素画像群の表示範囲を説明する説明図であり、(a)は白色要素画像のサイズが100%であり、(b)は白色要素画像のサイズが50%である。 実施形態において、図5(a)の白色要素画像群を表示したときの円形領域を説明する説明図であり、(a)はレンズアレイを介さずに表示した場合であり、(b)はレンズアレイを介して表示した場合である。 実施形態において、図5(b)の白色要素画像群を表示したときの円形領域を説明する説明図であり、(a)はレンズアレイを介さずに表示した場合であり、(b)はレンズアレイを介して表示した場合である。 実施形態において、白色要素画像群の表示範囲を説明する説明図であり、(a)は白色要素画像のサイズが100%で間隔がそのままであり、(b)は白色要素画像の間隔が長くなっている。 実施形態において、白色要素画像群の表示範囲を説明する説明図であり、(a)は白色要素画像のサイズが50%で間隔がそのままであり、(b)は白色要素画像の間隔が長くなっている。 実施形態において、白色要素画像群の回転を説明する説明図であり、(a)は白色要素画像群が回転しておらず、(b)は白色要素画像群が回転している。 実施形態に係る補正装置の構成を示すブロック図である。 実施形態において、位置ずれ量の算出を説明する説明図である。 実施形態において、隣接する円形領域の中心座標の算出を説明する説明図である。 実施形態に係る補正装置の動作を示すフローチャートである。
(実施形態)
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、位置ずれの調整対象となるIP立体映像表示装置(立体映像表示装置)の構成、及び、位置ずれ補正の原理を説明した後、本実施形態に係るIP立体映像調整システムの構成を説明する。
[IP立体映像表示装置の構成]
図1及び図2を参照し、従来のIP立体映像表示装置について説明する。
IP立体映像表示装置10は、IP立体映像(要素画像群)を表示するものであり、図1(a)及び(b)に示すように、ディスプレイ11と、アクリル板12と、レンズアレイ13とを備える。
ディスプレイ11は、図2(a)に示すように、複数の要素画像eで構成された要素画像群Eを表示する表示素子である。例えば、ディスプレイ11としては、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等のFPD(Flat Panel Display)があげられる。
アクリル板12は、後記するレンズアレイ13を構成する各要素レンズ14の主点位置とディスプレイ11の表示面までの距離とが、各要素レンズ14の焦点距離に一致するように調整するものである。つまり、アクリル板12は、レンズアレイ13からディスプレイ11までの距離を、要素レンズ14の焦点距離に保つ焦点距離調整部材である。
なお、アクリル板12のような焦点距離調整部材は、IP立体映像表示装置10に必須の構成要素ではない。
レンズアレイ13は、2次元状に配列された要素レンズ14を備えるものである。このレンズアレイ13では、要素レンズ14の配列が任意であり、ベイヤー配列又は水平垂直に要素レンズ14が配列されている。つまり、要素レンズ14及び要素画像eが互いに対応する。図2(b)に示すように、要素レンズ14がベイヤー配列の場合、図2(a)に示すように、要素レンズ14に対応する要素画像eもベイヤー配列となる。このように、要素画像群Eは、要素レンズ14と同一位置及び同一サイズの要素画像eが配列されている。
ここで、IP立体映像表示装置10は、製造時、ディスプレイ11とレンズアレイ13との位置が調整されている。つまり、IP立体映像表示装置10は、レンズアレイ13の伸縮や配列誤差を除いて、機械的な誤差の範囲内の精度で位置が調整されている。
[位置ずれ補正の原理:要素画像のサイズ及び間隔]
図3~図9を参照し、要素画像のサイズ及び間隔による位置ずれ補正の原理について説明する。
位置ずれを補正するため、図3(a)に示すように、白色要素画像eが配列された白色要素画像群Eを用いる。この白色要素画像eとは、全画素が白色の要素画像eのことである。正方形の白色要素画像eが碁盤の目のように規則正しく並んでいる場合、白色要素画像eの隙間となる黒色領域(ドットで図示)が小さくなる。ここで、図3(a)の白色要素画像eの間隔をそのままとし、白色要素画像eのサイズ(直径)を50%まで小さくすると、図3(b)に示すように、白色要素画像eの隙間(黒色領域)が大きくなる。なお、白色要素画像eの間隔とは、ある白色要素画像eの中心位置から隣接する他の白色要素画像eの中心位置までの距離のことである。
ここで、IP立体映像表示装置10が表示する白色要素画像群Eを観察する場合を考える。観察距離が無限遠の場合、各要素レンズ14の主点位置に対応するディスプレイ11の画素を観察することになる。このとき、レンズアレイ13のレンズ間隔とレンズアレイ13によって選択される要素画像群の要素画像間隔とが等しくなる。
次に、図4を参照し、観察距離について説明する。図4では、X軸が水平方向を表し、Y軸が垂直方向を表し、Z軸が奥行方向を表す。Y軸方向において、要素レンズ14が出射する光の角度θhは、要素レンズ14の焦点距離Lfと白色要素画像eの高さLhとから、以下の式(1)で算出できる。また、X軸方向においても、要素レンズ14が出射する光の角度θwは、要素レンズ14の焦点距離Lfと白色要素画像eの幅Lwとから、Y軸方向と同様に算出できる(不図示)。
θh=2×tan-1{Lh/(2×Lf)}
θw=2×tan-1{Lw/(2×Lf)} …式(1)
図4では、レンズアレイ13の中心に位置する要素レンズ14から、Y軸方向で最端に位置する要素レンズ14までの距離をLenHとする。また、レンズアレイ13のレンズ面(レンズアレイ面)から、上下2つの要素レンズ14が出射した光が交わる位置までの距離をLenZhとする。また、要素レンズ14から、X軸方向で最端に位置する要素レンズ14までの距離をLenWとする(不図示)。また、レンズアレイ面から、左右2つの要素レンズ14が出射した光が交わる位置までの距離をLenZwとする(不図示)。
Y軸方向において、距離LenZhは、要素レンズ14の焦点距離Lfと、距離LenHと、白色要素画像eの高さLhとから、以下の式(2)で算出できる。また、X軸方向においても、距離LenZwは、要素レンズ14の焦点距離Lfと、距離LenWと、白色要素画像eの幅Lwとから、Y軸方向と同様に算出できる(不図示)。以後、説明を簡単にするために、距離LenZwと距離LenZhとが等しいこととし、距離LenZと表記する。
LenZh=Lf×{LenH/(Lh/2)}
LenZw=Lf×{LenW/(Lw/2)} …式(2)
以上より、要素レンズ14の間隔と白色要素画像eの間隔とが等しい場合、観察距離が距離LenZ以上でないと、各要素レンズ14が対応する要素画像を拡大表示できない。言い換えるなら、白色要素画像eの間隔を要素レンズ14の間隔以上にすれば、要素画像を拡大表示できる。すなわち、要素画像群の間隔に応じて、最適な観察距離が異なることを意味する。
観察距離が距離LenZ未満の場合、または、要素レンズ14の間隔に誤差がある場合、再生される立体像について考える。この場合、図5(a)に示すように、白色要素画像群Eの全領域が対応する要素レンズ14では再生されずに、白色要素画像群Eの一部が異なる要素レンズ14で再生領域PEが再生される。つまり、IP立体映像表示装置10の観察者は、円形領域peが含まれる再生領域PEを立体映像として観察することになる。この円形領域peは、白色要素画像群Eのうち、対応する要素レンズ14で再生された白色要素画像eが拡大されたものである。
以後の説明では、図5(a)の白色要素画像eのサイズ及び間隔を基準とする(サイズが100%)とする。ここで、白色要素画像eの間隔がそのままで、白色要素画像eのサイズを50%に縮小した場合を考える。この場合、図5(b)に示すように、再生領域PEにおいて、円形領域peの中心位置は変わらないが、円形領域peのサイズが小さくなり、円形領域peの隙間(ドットで図示)が大きくなる。
図5では説明を簡易にするためにレンズアレイ13を考慮せずに図示したが、実際には円形領域peがレンズアレイ13の影響を受ける。
図6(a)は、レンズアレイ13を備えていないディスプレイに図5(a)の白色要素画像群Eを表示したものである。また、図6(b)は、レンズアレイ13を備えるIP立体映像表示装置10に図5(a)の白色要素画像群Eを表示したものである。図6(a)の白色要素画像群Eがレンズアレイ13で拡大され、図6(b)に示すように、複数の要素レンズ14で表示される1つの円形領域peとなる。
図7(a)は、レンズアレイ13を備えていないディスプレイに図5(b)の白色要素画像群Eを表示したものである。また、図7(b)は、レンズアレイ13を備えるIP立体映像表示装置10に図5(b)の白色要素画像群Eを表示したものである。白色要素画像eのサイズが小さいので、図7(b)に示すように、円形領域peの周囲にある黒色領域が大きくなる。
なお、要素レンズ14の直径が小さくなり、要素レンズ14の個数が多くなる程、円形領域peの形状が円形に近くなる。
白色要素画像eのサイズ及び間隔を少し長くした場合、図8(a)に示すように、円形領域peの上下が再生領域PEからはみだしている。さらに、白色要素画像eのサイズが100%のままで、白色要素画像eの間隔をさらに長くした場合を考える。この場合、白色要素画像eの間隔を長くすることで、対応する要素レンズ14が多くなるため、円形領域peのサイズが大きくなる。その結果、図8(b)に示すように、円形領域peのサイズが大きくなり、円形領域peの左右も再生領域PEからはみだすようになる。ここで、白色要素画像eの間隔を長くし続けると、ある間隔からは円形領域peのサイズが小さくなる。この円形領域peのサイズが最大になるときの間隔が、白色要素画像eの最適な間隔である。
なお、白色要素画像eの間隔が長いとは、理想的な白色要素画像eの間隔を基準として、その間隔が長いことを意味する。
白色要素画像eのサイズを50%に縮小した場合、図9(a)に示すように、円形領域peの上下左右が再生領域PEに収まる。さらに、白色要素画像eのサイズが50%のままで、白色要素画像eの間隔を長くした場合を考える。この場合、図9(b)に示すように、円形領域peのサイズが大きくなる。
白色要素画像eのサイズが100%の場合と(図8)、白色要素画像eのサイズを50%に縮小した場合とを比較する(図9)。図9に示すように、再生領域PEにおいて、円形領域peの全体が再生領域PEに収まるので、図8に比べて、円形領域peの中心位置のずれがわかりやすくなる。すなわち、白色要素画像eのサイズを縮小した方が、中心位置のずれが識別しやすくなる。
以下、白色要素画像eの間隔について、さらに検討する。
観察距離L1において、白色要素画像eの最適な間隔をP1とする。この最適な間隔P1が未知のため、レンズアレイ13の設計上の理論値(要素レンズ14の間隔)を白色要素画像eの間隔として利用する。例えば、白色要素画像eの間隔P1sが最適な間隔P1より短い状態で、白色要素画像eのサイズを小さくした場合、白色要素画像eの位置がずれていると、円形領域peも上下左右に(ΔCx,ΔCy)だけ表示位置がずれてしまう。
そこで、円形領域peの中心座標がレンズアレイ13の中心座標と一致するように白色要素画像の位置を(ΔEIx,ΔEIy)だけずらす。このとき、白色要素画像eのサイズが大き過ぎると、円形領域peがレンズアレイ13よりも大きくなり、円形領域peの中心座標が識別しにくくなる。また、白色要素画像eのサイズが小さ過ぎても、円形領域peの中心座標が識別しにくくなる。
そこでまず、(1)白色要素画像eの間隔を長くしていく。次に、(2)円形領域peがレンズアレイ13よりも大きくなった場合、白色要素画像eのサイズを小さくする。最終的には、白色要素画像eのサイズが十分小さくなるまで(例えば、縦2画素×横2画素)、前記(1)と(2)の処理を繰り返す。その結果、レンズアレイ13の全面が再生領域になり(つまり、レンズアレイ13の全面が白色になり)、白色要素画像eの間隔誤差が無くなり、観察距離L1における白色要素画像eの最適な間隔P1が求まる。
以下、前提条件としての要素画像群の間隔P1sについて補足する。
ここで、白色要素画像eが最適な間隔P1の場合において、白色要素画像eのサイズをR1とする。白色要素画像eが間隔P1sの場合において、白色要素画像eのサイズをR1sとする。レンズアレイ13において、水平方向の要素レンズ14のレンズ数をNxとする。説明を簡易にするため、ディスプレイ11とレンズアレイ13との幅が等しく、要素レンズ14のレンズ数Nxが整数であるとする。
この場合、ディスプレイ11の水平方向の画素数Pwを個数Nxで除算した値が要素レンズ14の間隔Pとなる。この要素レンズ14の間隔Pは、観察距離が無限点の場合、白色要素画像eの最適な間隔となる。
白色要素画像群Eとレンズアレイ13とに位置ずれがなく、白色要素画像eの直径R1sと白色要素画像eの間隔P1sとが等しい場合、観察距離L1における円形領域peの直径サイズR1hは、以下の式(3)で表される。なお、nは、円形領域peの半径分のレンズ数を意味する。
R1h=2×n×P1s …式(3)
ただし、|(P1×n)-(P1s×n)|<=R1s/2を満たす。
式(3)のただし書きで等号が成立する場合において、要素レンズ14の間隔P1sについて解くと、式(4)で表される。
P1s=P1-R1s/2n …式(4)
要素レンズ14のレンズ数Nxとレンズアレイ13で水平方向のサイズに対する円形領域peの直径サイズR1hとの比α(α=R1h/Nx)で式(4)のレンズ数nを表すと、以下の式(5)となる。
P1s=P1-R1s/(αNx)
n=α×Nx/2 …式(5)
前記した式(5)より、再生される円形領域peのサイズをレンズアレイ13の水平方向の比αで表すことで50%の再生サイズになるというように、白色要素画像eの間隔を求めることができる。
[位置ずれ補正の原理:要素画像の回転]
次に、図10を参照し、要素画像の回転による位置ずれ補正の原理について説明する。
ここでは、白色要素画像eのサイズを50%に縮小したこととして説明する。また、白色要素画像群Eが回転していないときの再生領域PEを図10(a)に示し、白色要素画像群Eが回転したときの再生領域PEを図10(b)に示す。
図10(b)に示すように、白色要素画像群Eが回転すると、対応する要素レンズ14が少なくなるため、図10(a)に比べ、円形領域peの間隔が短くなり(D>D)、円形領域peのサイズが小さくなる(R>R)。従って、再生領域PEに含まれる円形領域peの数も多くなる。なお、図10では、円形領域peのサイズがR,Rであり、円形領域peの間隔がD,Dであり、水平方向に対する白色要素画像群Eの回転角がθである。また、回転とは、レンズアレイ面に垂直な軸を中心とした回転のことである。
ここで、白色要素画像eの間隔と要素レンズ14の間隔とを設計値から少しずらした場合を考える。この場合、再生領域PEに含まれる円形領域peの数が多くなるので、白色要素画像群Eの回転が識別しやすくなる。そこで、白色要素画像eの間隔を要素レンズ14の間隔より小さくすることが好ましい。
白色要素画像群Eが回転する程、撮像画像上では、円形領域peの間隔が短くなる。そこで、白色要素画像eの間隔と要素レンズ14の間隔とを少しずらし、中央の円形領域peのサイズ(直径)が最大となるように白色要素画像群Eの回転角θを調整することで、回転による位置ずれを補正できる。なお、円形領域peのサイズを最大にすることは、円形領域peの間隔を最長にするのと同意である。
[IP立体映像表示システムの全体構成]
図11を参照し、実施形態に係るIP立体映像表示システム1の全体構成について説明する。
IP立体映像表示システム1は、IP立体映像表示装置10の位置ずれを補正し、IP立体映像を表示するものである。図11に示すように、IP立体映像表示システム1は、IP立体映像表示装置10と、撮像カメラ20と、補正装置(位置ずれ補正量算出装置)30とを備える。
IP立体映像表示装置10は、IP立体映像を表示するものである。位置ずれを補正する際、IP立体映像表示装置10は、後記する補正装置30から入力された白色要素画像群Eを表示する。なお、IP立体映像表示装置10の詳細は、前記したとおりなので、これ以上の説明を省略する(図1)。
撮像カメラ20は、ディスプレイ11で再生される単色要素画像群の立体像(再生領域PE)を撮影するものである。すなわち、撮像カメラ20は、レンズアレイ面に形成された再生領域PEを撮影する。例えば、撮像カメラ20は、レンズアレイ13の中心、撮像レンズ(不図示)の主点、及び、撮像素子(不図示)の中心画素が同一軸上となるように配置されている。また、撮像カメラ20は、少なくともレンズアレイ13の全面を撮像できる画角で設定されている。そして、撮像カメラ20は、再生領域PEの撮像画像を補正装置30に出力する。
補正装置30は、前記した位置ずれ補正の原理により、IP立体映像表示装置10の位置ずれ補正量を算出し、その位置ずれを補正するものである。なお、補正装置30の詳細は、後記する。
[補正装置の構成]
以下、補正装置30の構成について説明する。
図11に示すように、補正装置30は、表示手段31と、第1中心座標算出手段32と、位置ずれ量算出手段33と、位置補正量算出手段34と、第2中心座標算出手段35と、角度補正量算出手段36と、間隔補正量算出手段37と、要素画像群補正手段38と、判定手段(サイズ判定手段)39とを備える。
補正前の白色要素画像eのサイズ及び間隔は、設計値に対してずれている。そこで、補正装置30は、白色要素画像eのサイズを少しずつ縮小し、白色要素画像eの位置及び角度を調整することを繰り返す。このように、補正装置30は、位置ずれ補正の原理を利用して、位置ずれを高精度に補正する。
表示手段31は、白色要素画像eが配列された白色要素画像群Eをディスプレイ11に表示するものである。本実施形態では、表示手段31は、後記する判定手段39からの指令に従って、白色要素画像eのサイズを縮小し、白色要素画像eの角度及び間隔を調整する。例えば、表示手段31は、白色要素画像eを調整する際、白色要素画像eの画素を内挿してもよい。また、表示手段31は、白色要素画像eを回転させる場合、白色要素画像eの画素を外挿してもよい。さらに、表示手段31は、白色要素画像群Eを再生成してもよい。例えば、特許638845号公報に記載の手法で白色要素画像群Eを再生成できる。
表示手段31は、調整済み白色要素画像群EをIP立体映像表示装置10に出力(表示)する。また、表示手段31は、後記する要素画像群補正手段38から要素画像群Eが入力された場合、そのIP立体映像表示装置10に出力する。
第1中心座標算出手段32は、再生領域PEの撮像画像が撮像カメラ20から入力されるものである。そして、第1中心座標算出手段32は、図12に示すように、撮像画像の画像中心に最も近い円形領域pe(第1単色要素画像領域)を検出し、検出した円形領域peの中心座標pcを算出する。例えば、第1中心座標算出手段32は、撮像画像に白色領域検出処理を施して円形領域peを検出し、重心法により円形領域peの中心座標pcを算出する。
第1中心座標算出手段32は、撮像画像と、算出した中心座標pcとを位置ずれ量算出手段33に出力する。
位置ずれ量算出手段33は、図12に示すように、第1中心座標算出手段32が算出した円形領域peの中心座標pcと、予め設定されたディスプレイ11の中心座標dcとの位置ずれ量を算出するものである。具体的には、位置ずれ量算出手段33は、以下の式(6)に示すように、水平方向及び垂直方向のそれぞれで、円形領域peの中心座標pcとディスプレイ11の中心座標dcの差分を位置ずれ量(Δcx,Δcy)として算出する。この式(6)では、撮像カメラ20の撮像素子の画素間隔Cpと、撮像カメラ20のカメラレンズの主点から撮像素子までの距離Cfと、ディスプレイ11から撮像カメラ20までの距離Lcとを用いる。なお、ディスプレイ11の中心座標dcは、撮像カメラ20の撮像素子の中心に設定しておくこととする。
Δcx=(dcx-pcx)×Cp×(Lc/Cf)
Δcy=(dcy-pcy)×Cp×(Lc/Cf) …式(6)
位置ずれ量算出手段33は、撮像画像と、中心座標pcと、算出した位置ずれ量(Δcx,Δcy)とを位置補正量算出手段34に出力する。
位置補正量算出手段34は、位置ずれ量算出手段33が算出した位置ずれ量に、要素レンズ14の焦点距離Lfとディスプレイ11から撮像カメラ20までの距離Lcとの比(Lf/Lc)を乗算するものである。なお、焦点距離Lf及び距離Lcは、IP立体映像表示システム1の利用者が、操作手段を用いて手動で設定しておくこととする。
具体的には、位置補正量算出手段34は、以下の式(7)に示すように、水平方向及び垂直方向のそれぞれで、位置ずれ量(Δcx,Δcy)に比(Lf/Lc)を乗算する。なお、式(7)では、(ΔEIx,ΔEIy)が要素画像群の位置補正量を表す。この位置補正量(Δx,Δy)をディスプレイ11の画素サイズで除算した値が、実際に白色要素画像群Ewを画像上で動かす量になる(単位は画素)。
ΔEIx=Δcx×(Lf/Lc)
ΔEIy=Δcy×(Lf/Lc) …式(7)
位置補正量算出手段34は、撮像画像と、円形領域peの中心座標pcと、算出した要素画像群の位置補正量(Δx,Δy)とを第2中心座標算出手段35に出力する。
第2中心座標算出手段35は、中心の円形領域peに隣接する円形領域pew2(第2単色要素画像領域)の中心座標を算出するものである。図13に示すように、第2中心座標算出手段35は、撮像画像に白色領域検出処理を施して円形領域pew2を検出し、重心法により円形領域pew2の中心座標pcを算出する。ここで、円形領域pew2が再生領域PEからはみ出してしまい、円形領域pew2を検出できない場合も考えられる。この場合、再生領域PEから円形領域pew2がはみ出ないように、白色要素画像eの間隔を短くすればよい。
なお、第2中心座標算出手段35は、中心の円形領域peの左右に位置する円形領域pew2を検出しているが、円形領域peの上下に位置する円形領域pew2を検出してもよい。
第2中心座標算出手段35は、撮像画像と、中心座標pc,pcと、位置補正量(Δx,Δy)とを角度補正量算出手段36に出力する。
角度補正量算出手段36は、中心の円形領域peと、隣接する円形領域pew2との間隔が最長になるように、要素画像群の角度補正量を算出するものである。すなわち、角度補正量算出手段36は、中心の円形領域peの中心座標pcから、隣接する円形領域pew2の中心座標pcまでの距離が最長となるときの要素画像群の角度補正量を算出する。
なお、角度補正量算出手段36の詳細は、補正装置30の動作で説明する。また、前記したとおり、円形領域pe,pew2の間隔を最長にすることは、円形領域peのサイズを最大にすることと同意である。
間隔補正量算出手段37は、再生領域PEの撮像画像の全面が白色で表示されるように、要素画像の間隔補正量を算出するものである。具体的には、間隔補正量算出手段37は、中心の円形領域peの中心座標pcから、左右に位置する円形領域pew2の中心座標pcまでの距離が、レンズアレイ13の水平サイズと等しくなるように要素画像群を拡大又は縮小すればよい。また、間隔補正量算出手段37は、ディスプレイ11の全面が白くなるように、白色要素画像eの間隔を変更してもよい。
要素画像群補正手段38は、位置補正量算出手段34が算出した位置補正量と、角度補正量算出手段36が算出した角度補正量と、間隔補正量算出手段37が算出した間隔補正量とに基づいて、要素画像群Eを補正するものである。具体的には、要素画像群補正手段38は、外部(例えば、立体撮像装置)から入力された要素画像群Eを再生成する。
ここで、要素画像群補正手段38は、拡大により白色要素画像群Eの画素数がディスプレイ11の画素数より多くなる場合、ディスプレイ11の画素数でクリップ処理すればよい。なお、クリップ処理とは、要素画像群Eの最大画素数を超えないように、周辺画素を削除する処理のことである。また、要素画像群補正手段38は、縮小によって要素画像群Eの画素数がディスプレイ11の画素数より少なくなる場合、ディスプレイ11の画素数と等しくなるように黒色画素又は要素画像群の最端画素をコピーすればよい。
要素画像群補正手段38は、補正した要素画像群Eを表示手段31に出力する。
判定手段39は、白色要素画像eの位置、回転及びサイズを調整するか否かを判定するものである。
具体的には、判定手段39は、中心の円形領域peの中心座標pcとディスプレイ11の中心座標dcとの差分が基準値を超える場合、白色要素画像群Eの位置を補正すると判定する。一方、判定手段39は、その差分が基準値以下の場合、白色要素画像群Eの位置を調整しないと判定する。
また、判定手段39は、中心の円形領域peの中心座標pcから、隣接する円形領域pew2の中心座標pcまでの距離が最長となるように角度が調整されているか否かにより、白色要素画像群Eの回転(角度)を調整するか否かを判定する。
さらに、判定手段39は、白色要素画像eのサイズが予め設定された基準サイズを超える場合、白色要素画像eのサイズを調整すると判定する。一方、判定手段39は、白色要素画像eのサイズが基準サイズ以下の場合、白色要素画像eのサイズを調整しないと判定する。
なお、白色要素画像eの基準サイズは、IP立体映像表示システム1の利用者が、操作手段を用いて手動で設定しておくこととする。また、基準サイズは、任意に設定可能である。例えば、基準サイズは、高精度な補正が可能となるので、例えば、縦2画素×横2画素のように小さく設定するのが好ましい。
[補正装置の動作]
図14を参照し、補正装置30の動作について説明する。
補正前の白色要素画像eのサイズ及び間隔が設計値と異なっているので、補正装置30は、位置ずれ補正の原理を利用して補正を行う。このとき、補正装置30は、白色要素画像eのサイズを少しずつ縮小し、白色要素画像eの位置及び角度の調整を繰り返す。以下、補正装置30の動作を具体的に説明する。
ステップS1において、表示手段31は、白色要素画像群EをIP立体映像表示装置10に出力する。そして、IP立体映像表示装置10は、白色要素画像群Eを表示する。
ステップS2において、撮像カメラ20は、表示手段31が表示する調整済み白色要素画像群Eを撮像する。そして、第1中心座標算出手段32は、撮像カメラ20からの撮像画像を入力する。
ステップS3において、判定手段39は、白色要素画像群Eの位置又は回転を補正するか否かを判定する。
白色要素画像群Eの位置又は回転を補正する場合(ステップS3でYes)、判定手段39は、ステップS4の処理に進む。
白色要素画像群Eの位置及び回転を補正しない場合(ステップS3でNo)、判定手段39は、ステップS14の処理に進む。
ステップS4において、第1中心座標算出手段32は、例えば、撮像画像に白色領域検出処理を施し、撮像画像の画像中心に最も近い円形領域peを検出する。
ステップS5において、第1中心座標算出手段32は、例えば、重心法により円形領域peの中心座標pcを算出する。
ステップS6において、位置ずれ量算出手段33は、円形領域peの中心座標pcと、ディスプレイ11の中心座標dcとの位置ずれ量を算出する。具体的には、位置ずれ量算出手段33は、水平方向及び垂直方向のそれぞれで、円形領域peの中心座標pcとディスプレイ11の中心座標dcの差分を位置ずれ量(Δcx,Δcy)として算出する。このとき、位置ずれ量算出手段33は、撮像カメラ20の撮像素子の画素間隔Cpと、撮像カメラ20のカメラレンズの主点から撮像素子までの距離Cfと、ディスプレイ11から撮像カメラ20までの距離Lcとを用いる。
ステップS7において、判定手段39は、白色要素画像群Eの位置を調整するか否かを判定する。
白色要素画像群Eの位置を調整する場合(ステップS7でYes)、判定手段39は、ステップS8の処理に進む。
白色要素画像群Eの位置を調整しない場合(ステップS7でNo)、判定手段39は、ステップS10の処理に進む。
ステップS8において、位置補正量算出手段34は、白色要素画像群Eの位置補正量を算出する。具体的には、位置補正量算出手段34は、ステップS5で算出した位置ずれ量に、要素レンズ14の焦点距離Lfとディスプレイ11から撮像カメラ20までの距離Lcとの比(Lf/Lc)を乗算する。
ステップS9において、判定手段39は、表示手段31に対し、白色要素画像群Eの位置の調整を指令する。そして、表示手段31は、判定手段39からの指令に従って、白色要素画像群Eの位置を調整する。白色要素画像群Eを調整する際、表示手段31は、白色要素画像群Eの画素を内挿してもよい。また、表示手段31は、白色要素画像群Eを再度生成してもよい。
判定手段39は、表示手段31に指令出力後、ステップS1の処理に戻る。
ステップS10において、第2中心座標算出手段35は、例えば、撮像画像に白色領域検出処理を施し、中心の円形領域peに隣接する円形領域pew2を検出する。
ステップS11において、第2中心座標算出手段35は、例えば、重心法により隣接する円形領域pew2の中心座標pcを算出する。
ステップS12において、角度補正量算出手段36は、中心の円形領域peと、隣接する円形領域pew2との間隔が最長になるように、要素画像群の角度補正量を算出する。具体的には、角度補正量算出手段36は、ステップS5で算出した中心の円形領域peの中心座標pcから、ステップS11で算出した隣接する円形領域pew2の中心座標pcまでの距離が最長となるときの要素画像群の角度補正量を算出する。
ステップS13において、判定手段39は、表示手段31に対し、白色要素画像群Eの回転の調整を指令する。そして、表示手段31は、判定手段39からの指令に従って、白色要素画像群Eの回転を調整する。ここで、白色要素画像群Eを回転させる場合、表示手段31は、白色要素画像群Eの画素を外挿してもよい。
判定手段39は、表示手段31に指令出力後、ステップS1の処理に戻る。
ステップS14において、間隔補正量算出手段37は、再生領域PEの撮像画像の全面が白色で表示されるように、白色要素画像群Eの間隔補正量を算出する。
ステップS15において、間隔補正量算出手段37は、ディスプレイ11の全面が白くなるように白色要素画像群Eの間隔を調整する。
ステップS16において、判定手段39は、白色要素画像群Eのサイズを調整するか否かを判定する。
白色要素画像群Eのサイズを調整する場合(ステップS16でYes)、判定手段39は、ステップS17の処理に進む。
白色要素画像群Eのサイズを調整しない場合(ステップS16でNo)、判定手段39は、ステップS18の処理に進む。
ステップS17において、判定手段39は、表示手段31に対し、白色要素画像群Eのサイズの調整を指令する。そして、表示手段31は、判定手段39からの指令に従って、白色要素画像群Eのサイズを縮小する。
判定手段39は、表示手段31に指令出力後、ステップS1の処理に戻る。
ステップS18において、要素画像群補正手段38は、ステップS8の位置補正量と、ステップS12の角度補正量と、ステップS14の間隔補正量とに基づいて、要素画像群を補正する。
このように、補正装置30は、位置補正量、角度補正量及び間隔補正量を算出し、これらの補正量に基づいて、ディスプレイ11に表示する要素画像群を補正する。このとき、補正装置30は、白色要素画像群Eの位置ずれが最小になるように追い込み、最終的に算出された補正量を元に、要素画像群を再度レンダリングする。
[作用・効果]
以上のように、補正装置30は、白色要素画像eのサイズを縮小することで、ディスプレイ11と白色要素画像eとの中心位置のずれが識別しやすくなり、位置ずれ補正量を高精度に算出することができる。これにより、補正装置30は、レンズアレイ13が伸縮する場合でも、ディスプレイ11とレンズアレイ13との位置ずれを高い精度で補正でき、IP立体映像の画質を向上させることができる。
(変形例)
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、要素画像群に画像処理を施すこととして説明したが、これに限定されない。例えば、補正装置が算出した位置補正量及び角度補正量に基づいて、ディスプレイの位置を移動させ、ディスプレイを回転させる位置補正装置を用いてもよい。この場合、レンズアレイとディスプレイとは物理的に離れて設置されている。この位置補正装置は、レンズアレイに対して、ディスプレイを水平方向及び垂直方向に移動させ、ディスプレイに対して垂直な軸を中心にディスプレイを回転させる機能を有する。すなわち、位置補正装置は、補正装置が算出した補正量に基づいて、物理的にディスプレイの位置と角度を調整する。
白色要素画像の表示位置を補正する場合、補間処理を行うために高周波成分が低下するので、補正装置は、低下した高周波成分をエンハンス処理(強調処理)してもよい。これにより、白色要素画像群を再生成する場合に比べ、演算量を低減することができる。
補正装置は、要素画像群を補正する代わりに、算出した位置ずれ補正量を外部に出力してもよい。
要素画像の形状が円形であることとして説明したが、これに限定されない。
単色要素画像が白色であることとして説明したが、単色要素画像の色はこれに限定されない。
前記した実施形態では、補正装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した補正装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
1 IP立体映像表示システム
10 IP立体映像表示装置(立体映像表示装置)
11 ディスプレイ
12 アクリル板
13 レンズアレイ
14,14,14,14 要素レンズ
20 撮像カメラ
30 補正装置(位置ずれ補正量算出装置)
31 表示手段
32 第1中心座標算出手段
33 位置ずれ量算出手段
34 位置補正量算出手段
35 第2中心座標算出手段
36 角度補正量算出手段
37 間隔補正量算出手段
38 要素画像群補正手段
39 判定手段(サイズ判定手段)
E 要素画像群
e 要素画像
白色要素画像群(単色要素画像群)
白色要素画像(単色要素画像)
PE 再生領域
pe,pew2 円形領域
dc ディスプレイの中心座標
pc 円形領域の中心座標

Claims (5)

  1. 要素画像が配列された要素画像群を表示するディスプレイと、要素レンズが2次元状に配列されたレンズアレイとを備える立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置であって、
    単色要素画像が配列された単色要素画像群を、前記単色要素画像のサイズが縮小されるように前記ディスプレイに表示する表示手段と、
    前記ディスプレイで再生される前記単色要素画像群を撮影した撮像画像が撮像カメラから入力され、入力された前記撮像画像の画像中心に最も近い第1単色要素画像領域を検出し、検出した前記第1単色要素画像領域の中心座標を算出する第1中心座標算出手段と、
    前記第1単色要素画像領域の中心座標と予め設定した前記ディスプレイの中心座標との位置ずれ量を算出する位置ずれ量算出手段と、
    前記要素画像群の位置補正量を算出する位置補正量算出手段と、
    前記第1単色要素画像領域に隣接する第2単色要素画像領域の中心座標を算出する第2中心座標算出手段と、
    前記第1単色要素画像領域の中心座標と前記第2単色要素画像領域の中心座標との間隔が最長になるように、前記要素画像群の角度補正量を算出する角度補正量算出手段と、を備え、
    前記位置補正量算出手段は、前記要素レンズの焦点距離と前記ディスプレイから前記撮像カメラまでの距離との比を前記位置ずれ量に乗算することで、前記要素画像群の位置補正量を算出することを特徴とする位置ずれ補正量算出装置。
  2. 前記単色要素画像のサイズが予め設定された基準サイズ以下であるか否かを判定するサイズ判定手段、をさらに備え、
    前記単色要素画像のサイズが前記基準サイズ以下になるまで、
    前記表示手段が、前記単色要素画像群を前記ディスプレイに表示し、
    前記第1中心座標算出手段が、前記第1単色要素画像領域の中心座標を算出し、
    前記位置ずれ量算出手段が、前記位置ずれ量を算出し、
    前記位置補正量算出手段が、前記要素画像群の位置補正量を算出し、
    前記第2中心座標算出手段が、前記第2単色要素画像領域の中心座標を算出し、
    前記角度補正量算出手段が、前記要素画像群の角度補正量を算出することを特徴とする請求項に記載の位置ずれ補正量算出装置。
  3. 前記撮像画像の全面が単色で表示されるように、前記要素画像の間隔補正量を算出する間隔補正量算出手段、
    をさらに備えることを特徴とする請求項1又は請求項に記載の位置ずれ補正量算出装置。
  4. 前記位置補正量、前記角度補正量及び前記間隔補正量に基づいて、前記要素画像群を補正する要素画像群補正手段、
    をさらに備えることを特徴とする請求項に記載の位置ずれ補正量算出装置。
  5. コンピュータを、請求項1から請求項の何れか一項に記載の位置ずれ補正量算出装置として機能させるためのプログラム。
JP2019059700A 2019-03-27 2019-03-27 位置ずれ補正量算出装置及びそのプログラム Active JP7312585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019059700A JP7312585B2 (ja) 2019-03-27 2019-03-27 位置ずれ補正量算出装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059700A JP7312585B2 (ja) 2019-03-27 2019-03-27 位置ずれ補正量算出装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2020161994A JP2020161994A (ja) 2020-10-01
JP7312585B2 true JP7312585B2 (ja) 2023-07-21

Family

ID=72643737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059700A Active JP7312585B2 (ja) 2019-03-27 2019-03-27 位置ずれ補正量算出装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP7312585B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331814A (zh) * 2021-12-24 2022-04-12 合肥视涯技术有限公司 一种畸变画面校正方法及显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336239A (ja) 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> 立体映像補正装置およびその方法
JP2005110010A (ja) 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
JP2012230142A (ja) 2011-04-22 2012-11-22 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2018088595A (ja) 2016-11-28 2018-06-07 日本放送協会 立体映像測定装置及び立体映像測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336239A (ja) 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> 立体映像補正装置およびその方法
JP2005110010A (ja) 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
JP2012230142A (ja) 2011-04-22 2012-11-22 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2018088595A (ja) 2016-11-28 2018-06-07 日本放送協会 立体映像測定装置及び立体映像測定方法

Also Published As

Publication number Publication date
JP2020161994A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US7652665B2 (en) Method for producing multi-viewpoint image for three-dimensional image display and program therefor
JP5973707B2 (ja) 三次元内視鏡装置
JP2009206800A (ja) 画像処理装置、プロジェクタ、画像処理方法
US20120327199A1 (en) Autostereoscopic display with modulating screen having multiple sectional images
JP5767502B2 (ja) 立体映像表示装置
US6254239B1 (en) Method and system for image visualization
JP7312585B2 (ja) 位置ずれ補正量算出装置及びそのプログラム
JP2009134069A (ja) 投射画像の表示位置調整装置、投射画像の表示位置調整方法及びプロジェクションシステム
JP2019213127A (ja) Ip立体映像表示装置及びそのプログラム
JP2011061444A (ja) 収差補正装置及び収差補正方法
JP2006285482A (ja) 映像ジオメトリ補正装置
JP2010078883A (ja) 立体映像表示装置及び立体映像表示方法
JP5348035B2 (ja) プロジェクター
US9190020B2 (en) Image processing device, image processing method, computer program product, and stereoscopic display apparatus for calibration
JP4729011B2 (ja) 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム
JP6115732B2 (ja) 撮像システム
JP6626367B2 (ja) 立体像調整装置及び立体像調整方法
JP6335623B2 (ja) 立体映像表示装置
TWI682358B (zh) 多維影像投射裝置及其多維影像校正方法
TWI627603B (zh) 影像視角轉換方法及其系統
JP2011186110A (ja) 表示位置調整方法、表示位置調整装置、プロジェクター及び表示システム
JP2013105000A (ja) 映像表示装置及び映像表示方法
US8955988B1 (en) Image modification in optical path
JP6436560B2 (ja) 表示装置
JP2008083195A (ja) 立体映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150