JP7360379B2 - 遠近法に対応したイメージ補正方法および装置 - Google Patents

遠近法に対応したイメージ補正方法および装置 Download PDF

Info

Publication number
JP7360379B2
JP7360379B2 JP2020509406A JP2020509406A JP7360379B2 JP 7360379 B2 JP7360379 B2 JP 7360379B2 JP 2020509406 A JP2020509406 A JP 2020509406A JP 2020509406 A JP2020509406 A JP 2020509406A JP 7360379 B2 JP7360379 B2 JP 7360379B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
length
divided
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509406A
Other languages
English (en)
Other versions
JP2020518931A (ja
JP2020518931A5 (ja
Inventor
ドン-ヤン シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2020518931A publication Critical patent/JP2020518931A/ja
Publication of JP2020518931A5 publication Critical patent/JP2020518931A5/ja
Application granted granted Critical
Publication of JP7360379B2 publication Critical patent/JP7360379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、遠近法に対応したイメージ補正方法および前記方法を実行するための装置に関し、具体的には、与えられた対象イメージに対して向上した判読性(legibility)を提供することができるように前記対象イメージを変換できるイメージ補正方法および装置に関する。
図1は、従来の路面標示の利用例を示す。
路面標示は、道路上の路面に車両運行の安全および円滑のためにペイント、塗料などを用いて表示することをいう。その内容は、中央線、横断歩道などのように車両運行の規範に関する標識から、「徐行」、「スクールゾーン」などのように叙述型に記載された標識まで様々である。
このような路面標示は、運転者に運行上の情報や交通安全に必要な注意内容などのように様々な情報を提供することができるため、現在、車両が運行中の道路上で多く使われているのが実情である。
しかし、実際に車両の運転者が車両内で道路上の路面標示を眺める場合、運転者の視野角や路面標示との距離などに応じて遠近法による歪み現象が発生しうる。特に観察視点から遠くなるほどイメージの幅、特に縦幅が次第に狭くなって集まってしまう視覚的歪みが発生しうる。よって、このような視覚的歪みにより路面標示の判読性が落ちるという問題がある。
特に韓国の路面標示の場合、アルファベットに比べて、終声になる子音や激音文字などの使用で文字イメージの構造が複雑である。そこで、運転者は、遠近法による視覚的歪みにより、遠距離から路面標示を判読することができないかまたは誤読する場合がある。このような現象は、1行からなる路面標示からも見られるが、2行あるいは2行以上からなる路面標示が提供される場合にさらに多く発生しうる。
このような問題を解決するために、従来技術においては、運転者が眺める方向に沿って路面標示の長さを単純に伸ばして配置することによって判読性を確保するのが一般的であった。
しかし、路面標示の調整の具体的な事項や程度などが施工者の主観的な判断基準と施工便宜性などによって定められる場合が多いため、判読性の改善効果が不十分であり、一貫した改善効果を提供し難かった。
特に、従来技術においては、路面標示の長さを運転者が眺める方向に沿って全体的に同一の比率で伸ばすだけであったため、運転者の視野で見る時、視野から遠方に位置する横画の厚さは薄く見え、視野から近方に位置する横画の厚さは厚く見えるという問題は依然として存在していた。よって、速く走る自動車内で路面標示の意味を瞬間的に把握するのが難しく、その結果、安全を脅かす問題につながることになった。
このような問題は、単に道路上に表示された路面標示だけの問題ではない。最近、ポータルサイトなどで多く使われているストリートビューなどでも問題になる。図3は、グーグルのストリートビューをキャプチャーした画面である。画面では、道路上のストリート名を表示するためにストリートビュー上に「Meadowlands Pkwy」という文字をコンピュータ作業により加えた。しかし、ストリートビューのユーザにさらに現実的な感じを提供するための目的で遠近法を適用して加えたため、図面で確認できるように、視点から遠くなるほど顕著に判読性が悪化していることが分かる。
図2を参照し、これについて図式的に説明すれば以下のとおりである。
図2aは、地面より一定高さに位置した視点から眺めた状態を示す。図面上、HLで表示された線は互いに平行に等間隔に配置された水平な線を示し、VLで表示された線も互いに平行に等間隔に配置された垂直な線を示しており、各々の線VLは各々の線HLと直交する。
しかし、遠近法により、図示されたように、離隔した距離から地面を見下ろせば、垂直線VLは無限に位置した消失点に向かって集まるように見え、視点から遠くなるほど隣接した垂直線間の間隔が狭くなるように見える。水平線HLも視点から遠くなるほど隣接した水平線間の間隔が次第に狭くなるように見える。よって、例えば、図2の長方形10内に文字や記号を同一の大きさで配置すると仮定する場合、視点からより遠くなるほど判読性が顕著に悪化していくことが分かる。
また、コンピュータ・ゲーム(例えば、レーシングゲーム)や拡張現実(AR;Augmented Reality)、仮想現実(VR;Virtual Reality)などにおいても遠近法を適用して文字や記号を表現する場合に判読性が悪化するという問題が発生しうる。
図2bは、上面、底面、左右側面の4個の面を含む空間を示す。VRやARなどでは、前述した路面標示などの例のように底面のみにグラフィック(標示)が加えられるのではなく、左右側面や上面にもグラフィックが加えられる。この場合にも、例えば、左側面に文字が加えられる場合にも、遠近法による歪み現象が発生しうることを図2bから知ることができる。
したがって、路面標示などのように、一定の表面に表示されて所定の情報を提供する様々なイメージを構成するにおいて、一貫し且つ容易なイメージ補正方法を提供すると共に、周辺環境との調和をなし且つ改善された判読性を提供することができるイメージ生成装置およびその動作方法が求められる。
一方、前記のような問題を解決するために、大韓民国特許公報第10-1668802号は、遠距離識別イメージ生成装置の動作方法について開示している。
具体的には、前記特許公報においては、
(a)少なくとも一つの文字を含む第1イメージを提供するステップと、
(b)前記第1イメージに対する視点情報を反映して逆遠近法を適用することによって、前記第1イメージの比率が変更された第2イメージを生成するステップと(前記視点情報は前記第1イメージに対する視線方向および視野角のうち少なくとも一つに関する情報を含む)、
(c)前記第1イメージの第1参照点の座標および前記第1参照点に対応する前記第2イメージの第2参照点の座標を抽出するステップと(前記第1参照点の座標は前記文字のうち少なくとも一つに基づいて抽出される)、
(d)前記第1参照点の座標のうち少なくとも一つの値と前記第1参照点に対応する前記第2参照点の座標のうち少なくとも一つの値とを比較して、前記第1参照点により分割される基準領域のうち少なくとも一部を前記視線方向に沿って拡大または縮小させることによって、前記第1イメージを変換するステップを含み、ここで、
(e)前記第2イメージを生成するステップは、前記第1イメージを3次元イメージに変換するステップと、および前記視点情報を反映して、前記3次元イメージに変換された前記第1イメージを所定の回転軸を中心に前記視線方向に向かって所定の回転角だけ回転させ、平面イメージを抽出することによって、前記第2イメージを生成するステップを含むことを特徴とする動作方法を開示する。
しかし、前記方法では、第1イメージを3次元イメージに変換させ、回転軸を中心にそれを回転させた後、再び平面イメージを抽出する過程と、第1イメージと第2イメージの参照点座標を抽出する過程を必要としている。
本発明は、前記のような問題を解決して、イメージを回転させる過程や別途の参照点を抽出する過程がなくても、一貫し且つ容易なイメージ補正方法を提供すると共に改善された判読性を提供することができるイメージ補正方法および装置を提供する。
本発明の一つの実施形態により、イメージ補正方法であって、第1イメージを提供するステップと、前記第1イメージを眺める視点情報を提供するステップと、前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含む、イメージ生成方法が提供される。
他の一つの実施形態においては、前記視点情報が、前記視点の位置を第1イメージに対して特定できる情報を含む。
他の一つの実施形態においては、前記視点情報が、前記第1イメージが位置する平面から視点までの視点高さ、前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離、前記第1イメージの視点側端部での視野角、前記第1イメージの視点反対側端部での視野角、前記視点から前記第1イメージの視点側端部までの視線長さ、前記視点から前記第1イメージの視点反対側端部までの視線長さ、前記第1イメージの視点角のうち2個以上を含む。
他の一つの実施形態においては、前記第1イメージから変換された第2イメージを提供するステップが、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求めるステップと、前記視野長さから各々の分割イメージに対する変換長さを求めるステップを含む。
他の一つの実施形態においては、前記視野長さから各々の分割イメージに対する変換長さを求めるステップが、全体変換長さのうちi番目分割イメージの変換長さが占める比率が、全体視野長さのうちn-i+1番目分割イメージの視野長さが占める比率と同一であるように、各々の分割イメージに対する変換長さを求めるステップを含む。ここで、nは分割イメージの総個数である。
他の一つの実施形態においては、前記視野長さから各々の分割イメージに対する変換長さを求めるステップが、以下の変換式数1を用いて、i番目分割イメージの変換長さyを求めるステップを含む
Figure 0007360379000001
ここで、hはi番目分割イメージの視野長さ、nは分割イメージの総個数、Tは対象イメージの全体長さである。
他の一つの実施形態においては、前記視野長さを求めるステップが、視野長さの算出式によって視野長さを求めるステップであって、i番目分割イメージに対する視野長さhの算出式は以下の数2である。
Figure 0007360379000002
ここで、Sは視点から焦点までの視線長さであり、θはi番目分割イメージの視線反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角であり、θは焦点での視野角である、視野長さの算出式によって視野長さを求めるステップを含む。
他の一つの実施形態においては、前記視野長さを求めるステップが、視野長さの算出式によって視野長さを求めるステップであって、i番目分割イメージに対する視野長さhの算出式は以下の数3である。
であ、ここで、Rは視点から対象イメージの視点側端部までの視線長さであり、θはi番目分割イメージの視点反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角である、視野長さの算出式によって視野長さを求めるステップを含む。
他の一つの実施形態においては、前記第1イメージから変換された第2イメージを提供するステップが、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視点角を求めるステップと、前記視点角から各々の分割イメージに対する変換長さを求めるステップを含む。
他の一つの実施形態においては、前記各々の分割イメージに対する視点角を求めるステップが、各々の分割イメージに対する視点角間の比率と各々の分割イメージの縦長さ間の比率が互いに同一であるように、各々の分割イメージに対して視点角を求めるステップを含む。
他の一つの実施形態においては、前記各々の分割イメージに対する視点角を求めるステップが、以下の変換式数4を用いて、i番目分割イメージに対する視点角αを求めるステップを含む。
Figure 0007360379000004
ここで、Tは対象イメージの全体縦長さ、nは分割イメージの総個数、aはi番目分割イメージの縦長さ、θは1番目分割イメージの視線側端部での視野角、θはn番目分割イメージの視線反対側端部での視野角である。
他の一つの実施形態においては、前記各々の分割イメージに対する変換長さを求めるステップが、以下の変換式数5を用いて、i番目分割イメージの変換長さyを求めるステップを含む。
Figure 0007360379000005
ここで、Hは前記第1イメージが位置する平面から視点までの視点高さ、Lは前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離である。
本発明の他の一つの実施形態により、コンピュータ読み取り可能な命令語を含むコンピュータ読み取り可能なメモリであって、前記命令語は、コンピュータ上で実行される時、前記コンピュータが、第1イメージを提供する動作、前記第1イメージを眺める視点情報を提供する動作、前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割する動作、および前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供する動作を含む動作を実行するようにする、コンピュータ読み取り可能なメモリが提供される。
他の一つの実施形態においては、前記視点情報が、前記視点の位置を第1イメージに対して特定できる情報を含む。
他の一つの実施形態においては、前記視点情報が、前記第1イメージが位置する平面から視点までの視点高さ、前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離、前記第1イメージの視点側端部での視野角、前記第1イメージの視点反対側端部での視野角、前記視点から前記第1イメージの視点側端部までの視線長さ、前記視点から前記第1イメージの視点反対側端部までの視線長さ、前記第1イメージの視点角のうち2個以上を含む。
他の一つの実施形態においては、前記第1イメージから変換された第2イメージを提供する動作が、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求める動作、および前記視野長さから各々の分割イメージに対する変換長さを求める動作を含む。
他の一つの実施形態においては、全体変換長さのうちi番目分割イメージの変換長さが占める比率が、全体視野長さのうちn-i+1番目分割イメージの視野長さが占める比率と同一であるように、前記視野長さから各々の分割イメージに対する変換長さを求める動作が各々の分割イメージに対する変換長さを求める動作を含む。ここで、nは分割イメージの総個数である。
他の一つの実施形態においては、前記視野長さから各々の分割イメージに対する変換長さを求める動作が、以下の変換式数6を用いて、i番目分割イメージの変換長さyを求める動作を含む。
Figure 0007360379000006
ここで、hはi番目分割イメージの視野長さ、nは分割イメージの総個数、Tは対象イメージの全体長さである。
他の一つの実施形態においては、前記視野長さを求める動作が、視野長さの算出式によって視野長さを求める動作であって、i番目分割イメージに対する視野長さhの算出式は以下の数7である、視野長さの算出式によって視野長さを求めるステップを含む。
Figure 0007360379000007
ここで、Sは視点から焦点までの視線長さであり、θはi番目分割イメージの視線反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角であり、θは焦点での視野角である。
他の一つの実施形態においては、前記視野長さを求める動作が、視野長さの算出式によって視野長さを求める動作であって、i番目分割イメージに対する視野長さhの算出式は以下の数8である、視野長さの算出式によって視野長さを求める動作を含む。
Figure 0007360379000008
ここで、Rは視点から対象イメージの視点側端部までの視線長さであり、θはi番目分割イメージの視点反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角である。
他の一つの実施形態においては、前記第1イメージから変換された第2イメージを提供する動作が、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視点角を求める動作、および前記視点角から各々の分割イメージに対する変換長さを求める動作を含む。
他の一つの実施形態においては、前記各々の分割イメージに対する視点角を求める動作が、各々の分割イメージに対する視点角間の比率と各々の分割イメージの縦長さ間の比率が互いに同一であるように、各々の分割イメージに対して視点角を求める動作を含む。
他の一つの実施形態においては、前記各々の分割イメージに対する視点角を求める動作が、以下の変換式数9を用いて、i番目分割イメージに対する視点角αを求める動作を含む。
Figure 0007360379000009
ここで、Tは対象イメージの全体縦長さ、nは分割イメージの総個数、aはi番目分割イメージの縦長さ、θは1番目分割イメージの視線側端部での視野角、θはn番目分割イメージの視線反対側端部での視野角である。
他の一つの実施形態においては、前記各々の分割イメージに対する変換長さを求める動作が、以下の変換式数10を用いて、i番目分割イメージの変換長さyを求める動作を含む。
Figure 0007360379000010
ここで、Hは前記第1イメージが位置する平面から視点までの視点高さ、Lは前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離である。
本発明の更なる他の一つの実施形態により、イメージ補正装置であって、第1イメージおよび前記第1イメージを眺める視点情報を入力できるように構成された入力部、並びに前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割し、前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、前記第1イメージを第2イメージに変換させるように構成されるイメージ変換部を含む、イメージ補正装置が提供される。
他の一つの実施形態においては、前記イメージ補正装置が、変換された第2イメージを出力できるように構成された出力部をさらに含む。
他の一つの実施形態においては、前記視点情報が、前記視点の位置を第1イメージに対して特定できる情報を含む。
他の一つの実施形態においては、前記視点情報が、前記第1イメージが位置する平面から視点までの視点高さ、前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離、前記第1イメージの視点側端部での視野角、前記第1イメージの視点反対側端部での視野角、前記視点から前記第1イメージの視点側端部までの視線長さ、前記視点から前記第1イメージの視点反対側端部までの視線長さ、前記第1イメージの視点角のうち2個以上を含む。
他の一つの実施形態においては、前記イメージ変換部が、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求め、前記視野長さから各々の分割イメージに対する変換長さを求めることによって、前記第1イメージを第2イメージに変換させるように構成される。
他の一つの実施形態においては、前記イメージ変換部が、全体変換長さのうちi番目分割イメージの変換長さが占める比率が、全体視野長さのうちn-i+1番目分割イメージの視野長さが占める比率と同一であるように、各々の分割イメージに対する変換長さを求めるように構成される。ここで、nは分割イメージの総個数である。
他の一つの実施形態においては、前記イメージ変換部が、以下の変換式数11を用いて、i番目分割イメージの変換長さyを求めるように構成される。
Figure 0007360379000011
ここで、hはi番目分割イメージの視野長さ、nは分割イメージの総個数、Tは対象イメージの全体長さである。
他の一つの実施形態においては、前記イメージ変換部が、視野長さの算出式によって視野長さを求めるように構成される。ここで、i番目分割イメージに対する視野長さhの算出式は以下の数12である。
Figure 0007360379000012
Sは視点から焦点までの視線長さであり、θはi番目分割イメージの視線反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角であり、θは焦点での視野角である。
他の一つの実施形態においては、前記イメージ変換部が、視野長さの算出式によって視野長さを求めるように構成される。ここで、i番目分割イメージに対する視野長さhの算出式は以下の数13である。
Figure 0007360379000013
Rは視点から対象イメージの視点側端部までの視線長さであり、θはi番目分割イメージの視点反対側端部での視野角であり、θは1番目分割イメージの視線側端部での視野角である。
他の一つの実施形態においては、前記イメージ変換部が、前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視点角を求め、前記視点角から各々の分割イメージに対する変換長さを求めることによって、前記第1イメージを第2イメージに変換させるように構成される。
他の一つの実施形態においては、前記イメージ変換部が、各々の分割イメージに対する視点角間の比率と各々の分割イメージの縦長さ間の比率が互いに同一であるように、各々の分割イメージに対して視点角を求めるように構成される。
他の一つの実施形態においては、前記イメージ変換部が、以下の変換式数14を用いて、i番目分割イメージに対する視点角αを求めるように構成される。
Figure 0007360379000014
ここで、Tは対象イメージの全体縦長さ、nは分割イメージの総個数、aはi番目分割イメージの縦長さ、θは1番目分割イメージの視線側端部での視野角、θはn番目分割イメージの視線反対側端部での視野角である。
他の一つの実施形態においては、前記イメージ変換部が、以下の変換式数15を用いて、i番目分割イメージの変換長さyを求めるように構成される。
ここで、Hは前記第1イメージが位置する平面から視点までの視点高さ、Lは前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離である。
本発明が提供するイメージ補正方法および装置により、遠距離からイメージを見る時にも遠近法の影響によって判読性が落ちる現象を改善できるようになる。
したがって、本発明が道路の路面標示に適用される場合、運転者が今よりさらに遠い距離からも路面標示の判読が可能である。これは差分の距離だけ反応時間を減らせることを意味し、よって、高速移動中にも運転者が速かに判断することを可能にする。また、分岐点などで出口などを逃す現象や遅れた判読により発生しうる無理な割り込みによる交通事故を予防することができる。
また、VRやAR環境に適用すれば、判読性を向上させつつ、遠近法を感じるようにイメージを実現することが可能となる。よって、より快適な環境のVRまたはAR環境を構築することができる。
本発明の他の効果は、本発明が属する技術分野における通常の知識を有した者であれば、本発明の明細書に記載された内容から容易に把握することができるであろう。
従来の路面標示の利用例を示す。
地面より一定高さに位置した視点から眺めた状態を示す。
空間上の視点から空間を眺めた状態を示す。
グーグルのストリートビューをキャプチャーした画面である。
本発明の一実施形態によるイメージ補正方法を概略的に示す。
図4の実施形態に対して変形された実施形態を概略的に示す。
本発明の他の実施形態によるイメージ補正方法を概略的に示す。
図6の実施形態に対して変形された実施形態を概略的に示す。
本発明のまた他の実施形態によるイメージ補正方法を概略的に示す。
対象イメージおよび本発明により変形された変形イメージを示す。
図9aの対象イメージおよび変形イメージを一定の視点から眺めた様子を示す。
対象イメージおよび本発明により変形された変形イメージを示す。
図10aの対象イメージおよび変形イメージを一定の視点から眺めた様子を示す。
空間上の左側面に加えられる対象イメージおよび本発明により変形された変形イメージを一定の視点から眺めた様子を示す。
図3のストリートビューキャプチャー画面(上側図)および本発明によりそれを変換させたイメージ(下側図)を示す。
本発明の一実施形態によるイメージ補正装置の構成を図式的に示す。
以下では、添付図面を参照して本発明の各実施形態によるイメージ生成装置および方法について説明する。
以下の実施形態は、本発明の理解を助けるための詳細な説明であって、本発明の権利範囲を制限するものではないことを明らかにしておく。よって、本発明と同様の機能を実行する均等な発明も本発明の権利範囲に属するものであろう。
また、各図面の構成要素に参照符号を付する際、同一の構成要素に対しては他の図面上に表示される時にも可能な限り同一の符号を付するようにしていることに留意しなければならない。また、本発明の説明において、関連の公知の構成または機能に関する具体的な説明が本発明の要旨を不要に不明瞭なものにする恐れがあると判断される場合には、その詳細な説明は省略する。
また、本発明の構成要素を説明するにおいて、第1、第2、A、B、(a)、(b)などの用語を用いることができる。このような用語はその構成要素を他の構成要素と区別するためのものに過ぎず、その用語によって該構成要素の本質や手続きまたは順序などが限定されるものではない。ある構成要素が他の構成要素に「連結されて」いるかまたは「接続されて」いると言及された時には、該他の構成要素に直接的に連結されているかまたは接続されていてもよいが、その間に更なる他の構成要素が存在してもよいものとして理解しなければならない。その反面、ある構成要素が他の構成要素に「直接的に連結されて」いるかまたは「直接的に接続されて」いると言及された時には、その間に更なる他の構成要素が存在しないものとして理解しなければならない。構成要素間の関係を説明する他の表現、すなわち、「~の間に」と「直ちに~の間に」または「~に隣接した」と「~に直接的に隣接した」なども同様に解釈しなければならない。
また、本出願で用いられた用語は、単に特定の実施形態を説明するために用いられたものであって、本発明を限定しようとするものではない。単数の表現は、文脈上明らかに異なるように意味しない限り複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないことを理解しなければならない。
特に定義しない限り、技術的や科学的な用語を含めてここで用いられる全ての用語は、本発明が属する技術分野における通常の知識を有した者によって一般的に理解されるものと同様の意味を有する。一般的に用いられる辞典に定義されているような用語は関連技術の文脈上有する意味と一致する意味を有するものとして解釈しなければならず、本明細書で明らかに定義しない限り、理想的または過度に形式的な意味として解釈してはならない。
本発明において、対象イメージとは、本発明の方法により変形する前に与えられた本来のイメージ(第1イメージ)をいう。このような対象イメージは、例えば、道路の路面に表示される路面標示(スクールゾーン、止まれ、徐行など)のような記号や文字、またはグーグルのストリートビューなどのようにコンピュータ上で挿入される路面標示、仮想現実(Virtual Reality;VR)または拡張現実(Augmented Reality;AR)などで挿入される文字や記号、その他の現実でまたはコンピュータグラフィック上で実現されるイメージを含む。
本発明において、変形イメージとは、与えられた対象イメージを本発明が提示する方法により変形したイメージ(第2イメージ)をいう。
本発明において、視点側端部とは、与えられたイメージの最上部、最下部、最左側部、最右側部を各々境界とする長方形を想定した場合、このような長方形の下辺(視点に最も近い辺)の中で視点に最も近い点をいう。本発明において、視点反対側端部とは、前記長方形の上辺の中で視点に最も近い点をいう。例えば、図4において、点Aは対象イメージの(または1番目分割イメージの)視点側端部であり、点Eは対象イメージの(または4番目分割イメージの)視点反対側端部である。
本発明において、横方向および縦方向は、前記長方形を基準に見た方向を示す。例えば、図2aおよび2bにおいて、HLは横方向の線を、VLは縦方向の線を示す。
本発明において、地面(ground surface)とは、対象イメージが塗布されるかまたはコンピュータグラフィックによって加えられる面をいい、底面に限定されるものではなく、側面や天井面を含めて、いかなる面であってもよい。例えば、図2bのように左側面にグラフィックが加えられる場合には左側面も地面に該当する。
本発明において、視線長さとは、視点から該当地点までの距離をいう。例えば、以下に説明される実施形態において、線分OAの長さ、線分OEの長さなどがこれに該当する。
本発明において、視野長さとは、与えられたイメージの視点側端部から視点反対側端部までの縦長さが視点から観測される長さをいう。すなわち、視点から眺める時、遠近法の適用により実際長さより小さく見えるようになる、与えられたイメージの視点側端部から視点反対側端部までの縦長さである。例えば、以下の実施形態において、線分Mの長さまたはhなどがこれに該当する。
本発明において、視野角とは、地面上の一地点から視点を眺める角度をいう。例えば、以下に説明される実施形態において、点Aでの視野角はθであり、点Cでの視野角はθである。
本発明において、視点角とは、視点から特定イメージを視点側端部から視点反対側端部まで眺める時に形成される角度をいう。例えば、以下に説明される実施形態において、分割イメージ201に対する視点角は∠AOBであり、対象イメージ200全体に対する視点角は∠AOEである。
本発明において、視点情報とは、視点の位置を対象イメージに対して特定できるのに十分な情報をいう。例えば、図4において、視点情報は、視点距離L、視点高さH、対象イメージ視点側端部での視野角、対象イメージ視点反対側端部での視野角、対象イメージ視点側端部までの視線長さ、対象イメージ視点反対側端部までの視線長さ、対象イメージに対する視点角のうち2個以上だけ知っていれば、対象イメージに対する視点の相対位置を決定できるようになる。
本発明において、i番目、j番目などのように順序を示す時には、視点に近い側から1番目、2番目、3番目、...などのように順番を決めることにする。
本発明においては、道路などの地面上に物理的に直接加えるか、またはコンピュータグラフィックなどで遠近法が感じられるように仮想で加えようとする対象イメージが与えられる場合に、遠近法によって前記対象イメージに対する判読性が悪化するという問題を解決できるように、前記対象イメージを変換させる方法を提案する。
本発明に係る具体的な一実施形態においては、与えられた対象イメージを横方向に沿って一定の個数に分割し、このように分割された各々の分割イメージのうち視点に近く位置する分割イメージの縦長さは相対的に減らし、視点から遠く位置する分割イメージの縦長さは相対的に伸ばす。このように変換させることによって、本来加えようとした対象イメージの全体縦長さは維持しつつ、遠近法により判読性が悪化するという問題を改善できるようになる。
本発明に係る他の具体的な一実施形態においては、与えられた対象イメージを一定の個数に横に分割した後、各々の分割イメージの視野長さを求める。その後、各々の分割イメージに対してこれらの視野長さ間の比率を逆に適用して、各々の分割イメージが変換される縦長さ(以下、変換長さという)を求める。すなわち、与えられた対象イメージをn個の分割イメージに分割した場合に、全体変換長さのうちi番目分割イメージの変換長さが占める比率が、全体視野長さのうちn-i+1番目分割イメージの視野長さが占める比率と同一であるように変換長さを求める。
図4は、このような本発明の一実施形態による方法を説明するための図である。図4(b)は、対象イメージ200が入る位置の平面図であり、図4(a)は、図4(b)の線GEに沿って切った断面を概略的に示す。
図4において、図面符号100は地面(ground surface)を示し、Oは視点(view point)を示す。視点は、例えば、自動車に搭乗した運転者の目に該当することができるが、これに限定されるものではない。Gは視点Oから鉛直下方に位置する地面100上の点を示す。視点Oの高さ(視点高さ)、すなわち、線分OGの長さはHで表示されている。視点Oが地面に投影された地点、すなわち、点Gから対象イメージ200の視点側端部、すなわち、点Aまでの距離(視点距離)はLで表示されている。
図面符号200は、地面100に加えられるようになる対象イメージ(例えば、路面標示)の最上部、最下部、最左側部、最右側部を各々境界とする長方形を示す。後述する201、202、203、204も同様に各々の分割イメージに対する長方形を示す。しかし、以下では、説明の便宜のために、簡単に対象イメージ200、分割イメージ201などのような方式で表示することにする。また、図面上、対象イメージ200は地面100の下に厚さを有するものとして示されているが、これは説明の便宜のためのものに過ぎず、実際には、実質的な厚さ無しに、地面100の延長線上で地面100と並んで置かれるものと仮定する。
本実施形態においては、対象イメージ200を横方向(X軸方向)に平行に4個の分割イメージ201、202、203、204に分割した。点A、B、C、D、Eは、このように分割された分割イメージの横線が、点Gを過ぎY軸に平行な線と交差る点である。分割イメージ201、202、203、204の縦長さ(Y軸方向長さ)は、各々、a、a、a、aで表示された。
本実施形態および以下の実施形態においては対象イメージ200を4個に分割したが、これは説明の便宜のためのものであることを明らかにしておく。本発明が属する技術分野における通常の知識を有した者であれば、本発明の明細書に開示された内容から、対象イメージ200を分割する個数が多ければ多いほど、判読性がさらに良くなる効果を持ってくることを予想することができるであろう。
一方、本実施形態においては、焦点(focal point)が点C上に位置することと仮定する。焦点を過ぎる焦点平面は図面符号300で表示されており、点Cにおいて視線(line of sight)OCと直交する。焦点平面300と視線OA、視線OB、視線OC、視線ODおよび視線OEが交差する点は、各々、M、M、M、M、Mで表示されている。よって、本実施形態において、点Cと点Mは同一の地点を示す。
ここで、視点Oから観察される分割イメージ201の長さ、すなわち、視野長さは線分Mの長さと等しい。同様に、分割イメージ202、分割イメージ203、分割イメージ204の視野長さは、各々、線分Mの長さ、線分Mの長さ、線分Mの長さと等しい。
視点から焦点までの視線長さをSとすれば、これは線分OCの長さと等しく、よって、直角三角形OCGから次のように求めることができる。
(1)
また、視野角θ、θ、θ、θ、θは各々次のように求めることができる。
(2)

(3)


(4)

(5)

(6)
一方、∠AOB、∠BOC、∠COD、∠DOEは、各々、(θ-θ)、(θ-θ)、(θ-θ)、(θ-θ)となる。
したがって、分割イメージ201、202、203、204の視野長さ、すなわち、線分Mの長さ、線分Mの長さ、線分Mの長さ、線分Mの長さを各々h、h、h、hとすれば、これらは各々次のように求めることができる。
(7)
(8)
(9)
(10)
また、各々の分割イメージが変換される長さを各々y、y、y、yとすれば、次のように求めることができる。
(11)
(12)
(13)
(14)
ここで、Tは地面100に塗布されるかまたはコンピュータグラフィック作業によって加えようとする対象イメージ200の全体縦長さ(例えば、本実施形態ではT=a+a+a+a)を示す。
図4の実施形態は対象イメージ200を4個に分割した場合について説明したが、4個以上に分割する場合にも前記式を適用することができる。
対象イメージ200をn個の分割イメージに分割する場合、視点から焦点までの視線長さS、視点に最も近く位置する分割イメージ(1番目分割イメージ)から始めてi番目分割イメージの視野長さhおよびi番目分割イメージの視点反対側端部から見た視野角θは各々次のように求めることができる。
(15)
(16)
(17)
したがって、各々の分割イメージが変換される長さを各々y、y、y、...yとする時、i番目分割イメージの変換される長さは次のように求めることができる:
(18)
下記表はT=5m、L=15m、H=1.2m、n=10、そしてa=a=...=a10=0.5mの場合に対してθ、h、y値を示す表である。
前記表から分かるように、10番目分割イメージの変形長さy10は、1番目分割イメージの変形長さyの約1.7倍近くになる。
図9および10は、対象イメージおよび前記表1から得たy値を用いて得られた変形イメージを示す図である。
図9aにおいて、左側は対象イメージ「スクールゾーン」であり、右側は表1により得られたy値を用いて変形したイメージである。対象イメージでは「スクール」と「ゾーン」の縦長さは同一であったが、変形されたイメージでは「スクール」が「ゾーン」より長くなったことが分かる。また、各々の横画にも変化があることを確認することができる。例えば、「ゾーン」の一番下の横画は変形イメージの方がより細くなり、「スクール」の一番上の横画は変形イメージの方がより厚くなっている。
図9bは、対象イメージと変形イメージを各々遠距離から眺めた様子を示す。二つのイメージの両方とも全体長さTは5mであり、視点距離L=15m、視点高さH=1.2mから眺めたものである。左側が対象イメージであり、右側が変形イメージである。遠距離から見た時、対象イメージは「スクール」が「ゾーン」より小さく見えるが、変形イメージは「スクール」と「ゾーン」がほぼ同一の大きさに見えることが分かる。また、対象イメージは視点から遠くなるほど対象イメージの横画の厚さが薄く見えるが、変形イメージは全体的に横画の厚さが実質的に同一に見えることが分かる。
図10aおよび10bは、各々、対象イメージ「PITTS-BURGH」とそれに対する変形イメージを示す。各々に関する説明は図9aおよび9bと同様であるため、それに関する重複した説明は省略する。
図11は、図9および10のように底面にイメージが配置されたものでなく、空間上の左側面に対象イメージおよび変形イメージが加えられる様子を示す。このようなイメージの配置は、ARやVR環境で主に発生しうるが、これに限定されるものではなく、例えば、道路の側面に立てられた看板や道路標示にも適用することができるであろう。
図11の上側に示された図面は対象イメージが遠近法の適用を受けて見える様子であり、下側に示された図面は変形イメージが遠近法の適用を受けて見える様子である。図示されたものから分かるように、対象イメージは視点から遠くなるほど文字がよく見えなくなるが、変形イメージは視点に関わらず鮮明に見えることが分かる。特に後ろの「Pkwy」部分を見てみると、変形イメージの方が約2倍に拡張して見えることが分かる。
図12は、図3のストリートビューキャプチャー画面(上側図)および路面標示を本発明により変換させた画面(下側図)を共に示す。図面で確認できるように、変換前にはPkwy部分の判読性が低かったが、変換後には顕著に改善されたことが分かる。
一方、図4は焦点が対象イメージの中央に位置した場合であったが、焦点が他の地点に位置する場合にも本発明の適用が可能である。
図5は、それに関する一実施形態を示す。
図4と同様に、図5(b)は対象イメージ200が入る位置の平面図であり、図5(a)は図5(b)の線GEに沿って切った断面を概略的に示す。
図5では、焦点が1番目分割イメージと2番目分割イメージとの間に位置する。よって、焦点平面300は、点Bにおいて視線(line of sight)OBと直交する。
視点から焦点までの視線長さSは線分OBの長さと等しく、よって、直角三角形OBGから次のように求めることができる。
(19)
分割イメージ201、202、203、204の視野長さを各々h、h、h、hとすれば、これらは各々次のように求めることができる。
(20)
(21)
(22)
(23)
各々の分割イメージが変換される長さy、y、y、yは、前記式(11)~(14)により求めることができる。
同様に、対象イメージをn個のイメージに分割した場合にも以下のように前記式(15)~(18)を同一乃至類似に適用することができる。
(15)
(16’)
(17’)
(18)
図4の実施形態および図5の実施形態において、焦点と視点がなす視野角をθとすれば、式(16)、(16’)、(17)、(17’)は各々次のように一般化させることができる。
(24)
(25)
(但し、fは0以上n以下の整数)
結局、焦点をどの分割イメージに位置させるかに関わらず、視点条件(例えば、θ、H、またはLなど)が同一であれば同一の変換長さが得られることが分かる。
図6は、本発明の他の代案的な実施形態を示す。
本実施形態においては、焦点平面で視野長さを求める代わりに、視点Oから同一の距離に位置する地点で各々の分割イメージに対する視野長さを求める接近方式を利用する。
前述したものと同様に、図6(b)は対象イメージ200が入る位置の平面図であり、図6(a)は図6(b)の線GEに沿って切った断面を概略的に示す。
図6において、対象イメージは、前述した実施形態と同様に、AB、BC、CD、DEの4個の区間に分割された。点Mは視点Oを中心にし、半径の長さが視点から対象イメージの視点側端部までの視線長さRである円(以下、「円O」という)が視線OAと交差する点である。点Mは、点Mから引いた接線が視線OBと交差する点である。点Mは、円Oと視線OBが接する点から引いた接線が視線OCと交差する点である。点Mは、円Oと線分OCが接する点から引いた接線が視線ODと接する点である。点Mは、円Oと視線ODが接する点から引いた接線が視線OEと交差する点である。
視点Oから1番目分割イメージ201を眺めた時の視野長さは線分Mの長さであるといえる。
視点Oから2番目分割イメージ202を眺めた時の視野長さを、1番目分割イメージ201に対して視野長さを測定した位置と同一の位置で測定するのであれば、その視野長さは線分Mの長さになるであろう。
同様に、視点Oから3番目分割イメージ203を眺めた時の視野長さおよび四番目分割イメージ204を眺めた時の視野長さは各々線分Mの長さおよび線分Mの長さになるであろう。
一方、半径の長さRは、直角三角形OAGから次のように求めることができる。
(26)
視野角θ、θ、θ、θ、θは式(2)~(6)のとおりである。同様に、∠AOB、∠BOC、∠COD、∠DOEは、各々、(θ-θ)、(θ-θ)、(θ-θ)、(θ-θ)になる。
したがって、分割イメージ201、202、203、204の視野長さ、すなわち、線分Mの長さ、線分Mの長さ、線分Mの長さ、線分Mの長さを各々h、h、h、hとすれば、これらは次のように求めることができる。
(27)
(28)
(29)
(30)
各々の分割イメージが変換される長さy、y、y、yは、各々、前記式(11)~(14)により求めることができる。
図6の実施形態は対象イメージ200を4個に分割した場合であるが、4個以上に分割する場合にも前記式を適用することができる。
対象イメージ200をn個の分割イメージに分割するとする場合、視点に最も近く位置する分割イメージ(1番目分割イメージ)から始めてi番目分割イメージの視点反対側端部から見た視野角θは前記式(15)を用いて求めることができ、i番目分割イメージの視野長さhは次のように求めることができる。
(31)
前述したものと同様に、各々の分割イメージが変換される長さを各々y、y、y、...yとする時、i番目分割イメージの変換される長さは前記式(18)を用いて求めることができる。
下記表はT=5m、L=15m、H=1.2m、n=10、そしてa=a=...=a10=0.5mの場合に対してθ、h、y値を示す表である。
本実施形態の場合にも、前記表1とほぼ類似した変形長さ値が出てくることが分かる。
図7は、図6の実施形態に対する変形実施形態を示す。
前述したものと同様に、図7(b)は対象イメージ200が入る位置の平面図であり、図7(a)は図7(b)の線GEに沿って切った断面を概略的に示す。
図7において、対象イメージは、前述した実施形態と同様に、AB、BC、CD、DEの4個の区間に分割された。点Mは点Aから視線OAに垂直に延びる線が視線OAと交差する点であり、よって、AとMは同一の地点を示す。点Mは、点Mから視線OAに垂直に延びる線が視線OBと交差する点である。点Mは、点Mから視線OBに垂直に延びる線が視線OCと交差する点である。点Mは、点Mから視線OCに垂直に延びる線が視線ODと交差する点である。点Mは、点Mから視線ODに垂直に延びる線が視線OEと交差する点である。
視点Oから1番目分割イメージ201を眺めた時の視野長さは線分Mの長さである。
視点Oから点Mまでの距離は視点Oから点Mまでの距離より大きいが、その差の程度は無視できる水準である。よって、線分Mの長さを、視点Oから2番目分割イメージ202に対する視野長さに近似することができる。
同様に、線分Mの長さおよび線分Mの長さを、視点Oから3番目分割イメージ203および四番目分割イメージ204を眺めた時の視野長さに近似することができる。
また、∠AOB、∠BOC、∠COD、∠DOEは、各々、(θ-θ)、(θ-θ)、(θ-θ)、(θ-θ)になる。
ここで、線分OM、OM、OM、OM、の長さを各々S、S、S、Sとすれば、S、S、S、Sの長さは次のように求めることができる。
(32)
(33)
(34)
(35)
視野角θ、θ、θ、θ、θは式(2)~(6)のとおりである。
したがって、分割イメージ201、202、203、204の視野長さ、すなわち、線分Mの長さ、線分Mの長さ、線分Mの長さ、線分Mの長さを各々h、h、h、hとすれば、これらは次のように求めることができる。
(36)
(37)
(38)
(39)
各々の分割イメージが変換される長さy、y、y、yは、各々、前記式(11)~(14)により求めることができる。
図7の実施形態は対象イメージを4個に分割した場合であるが、4個以上に分割する場合にも前記式を適用することができる。
対象イメージ200をn個の分割イメージに分割する場合、視点に最も近く位置する分割イメージ(1番目分割イメージ)から始めてi番目分割イメージの視点反対側端部から見た視野角θは前記式(15)を用いて求めることができ、i番目分割イメージの視野長さhは次のように求めることができる。
(40)
ここで、Sは以下のとおりである。
但し、
) (41)
前述したものと同様に、各々の分割イメージが変換される長さを各々y、y、y、...yとする時、i番目分割イメージが変換される長さは前記式(18)を用いて求めることができる。
下記表はT=5m、L=15m、H=1.2m、n=10、そしてa=a=...=a10=0.5mの場合に対してθ、h、y値を示す表である。
本実施形態の場合も、前記表1および表2と類似した変形長さ値が得られることが分かる。
図8は、本発明の更なる他の代案的な実施形態を示す。
前述したものと同様に、図8(b)は対象イメージ200が入る位置の平面図であり、図8(a)は図8(b)の線GEに沿って切った断面を概略的に示す。
図8においては、視点Oから対象イメージ200全体に対する視点角∠AOEを、対象イメージ200を分割しようとする個数と同一な個数に分割し、このように分割された角度を用いて変形される長さを求める接近方式を利用する。
図8において、対象イメージ200は、前述した実施形態と同様に、AB、BC、CD、DEの4個の区間に分割された。各々の分割イメージ201、202、203、204の縦長さは、各々、a、a、a、aで表示された(図8(b)を参照)。点A、B、C、D、Eは、このように分割された分割イメージ201、202、203、204の横線が、点Gを通ってY軸に平行な線と交差する点である。
分割イメージの個数に合わせて、視点Oから対象イメージ200全体を眺める角度(∠AOE)も4個の角度α、α、α、αに分割された。この時、各々の角度は以下の式を満たす大きさに分割される。
(42)
点A、B’、C’、D’、Eは、このように角度を分割する線が対象イメージ200と交差する点を各々示す。
このようにして、対象イメージは、AB’区間、B’C’区間、C’D’区間、D’E区間の4個の区間に新たに分割される。
点Oを中心にし、半径の長さが線分OAである円Oを仮定すれば、(半径の長さが十分に大きい場合)円弧M、円弧M、円弧M、円弧Mの長さは視点Oから観測されるAB’区間、B’C’区間、C’D’区間、D’E区間の長さと実質的に同一であってもよい。よって、線分AB’の長さ、線分B’C’の長さ、線分C’D’の長さ、線分D’Eの長さを、各々分割されたイメージが変換される長さy、y、y、yとして求める。
対象イメージ200の全体縦長さをTとする時(本実施形態ではT=a+a+a+a)、視野角θおよびθは各々以下のとおりである。
(43)
(44)
一方、対象イメージ200の全体縦長さに対する1番目分割イメージ201の縦長さの比率はa/Tである。よって、分割イメージ201に対する視点角αは、前記式(42)を考慮して次のように求めることができる。
(45)
同様に、2番目~4番目分割イメージ(202~204)に対する視点角α、α、αは各々次のように求めることができる。
(46)
(47)
(48)
さて、分割されたイメージが変換される長さy、y、y、yを各々求めれば以下のとおりである。
(49)
(50)
(51)
(52)
図8の実施形態は対象イメージ200を4個に分割した場合であるが、4個以上に分割する場合にも前記式を適用することができる。
対象イメージ200をn個の分割イメージに分割する場合、視点に最も近く位置する分割イメージ(1番目分割イメージ)から始めてi番目分割イメージの変換長さyおよび視点角αは次のように求めることができる。
(53)
(54)
ここで、θ、θは各々前記式(2)と式(15)を用いて求めることができる。
下記表はT=5m、L=15m、H=1.2m、n=10、そしてa=a=a=...=a10=0.5mの場合に対してθ、y値を示す表である。
本実施形態の場合も、前記表1~表3と類似した変形長さ値が得られることが分かる。
本発明の更なる実施形態として、補正因子fを用いて前記式(18)および式(54)を各々次のように変形させることができる。
(55)
(56)
補正因子fは、イメージが塗布されるかまたは加えられる状況や条件などに応じて適切な値を取ることができる。例えば、以下の式40を適用する場合には、視点に近く位置する分割イメージであるほど少なめに変換させ、視点から遠く位置する分割イメージであるほどさらに多めに変換させる。
値はこれに限定されるものではなく、本発明が属する技術分野における通常の知識を有した者であれば、ユーザの必要や地面状態などの周辺条件に応じて異なる適切な値が取られることを知ることができるであろう。
本発明の一実施形態においては、前記のようなイメージ補正方法を実現できるイメージ補正装置を提供する。
図13は、このようなイメージ補正装置の一実現例を示すブロック図である。図13を参照すれば、本発明の一実施形態によるイメージ補正装置1000は、入力部1010、イメージ変換部1020および出力部1030を含む。
ユーザは、入力部1010を介して、変形させようとする対象イメージ200に関する情報を入力することができる。対象イメージ情報は、対象イメージのイメージファイル、対象イメージが加えられる幅と長さ(前記実施形態における長さT)などを含むことができる。
また、ユーザは、対象イメージ200を分割しようとする個数および各々の分割イメージの縦長さ(a、a、a、..)を入力することができる。好ましくは、各々の分割イメージが同一の縦長さに分割されることができる(すなわち、a=a=a=...=a)。
また、ユーザは、入力部1010を介して視点情報を入力することができる。視点情報は、対象イメージ200に対して視点の位置を特定できる情報を意味する。例えば、視点は、対象イメージから離隔した距離、視点角などであってもよい。
より具体的には、例えば、前記対象イメージが位置する平面から視点までの視点高さH、前記視点を前記対象イメージが位置する地面100上に投影させた地点から前記対象イメージの視点側端部までの視点距離L、前記対象イメージの視点側端部での視野角、前記対象イメージの視点反対側端部での視野角、前記視点から前記対象イメージの視点側端部までの視線長さ、前記視点から前記対象イメージの視点反対側端部までの視線長さ、および前記対象イメージの視点角などであってもよい。視点情報は対象イメージ200に対して視点の位置を特定できれば良いため、これらの全てが必要なのではない。すなわち、例えば、図6の実施形態において、視点距離Lと視点高さHだけ与えられれば、視野角θと視線長さRなどはそれより求めることができるということを、本発明が属する技術分野における通常の知識を有した者であれば理解することができる。
入力部1010を介して入力された対象イメージは、イメージ変換部1020を介して、前述した内容のような過程を経て変換される。例えば、前記式(18)または式(54)によりi番目分割イメージに対するy値を求め、このように得られたy値に応じて該分割イメージの縦長さを伸ばすかまたは減らすことによって対象イメージ200を変形させる。一例として、図4の実施形態において、分割イメージ201の縦長さが1mであり、これに対して計算されたy値が0.7mであったのであれば、分割イメージ201の横長さは維持させつつ、縦長さが0.7mになるように縮小変形させる。
出力部1030は、イメージ変換部1020を介して変換されたイメージを所望のフォーマットで出力することができるようにする。例えば、出力部1030は、jpg、TIFF、XMLなどのファイル形式に変換されたイメージを出力することができるが、これは単に例に過ぎず、必要により公知のいかなる形態やフォーマットで出力してもよい。特に、本発明に係るイメージ補正装置がARやVRなどの実現のために使われる場合には、AR装置やVR装置が必要とする形式に合わせて提供することができる。
本発明の一実施形態は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体、すなわち、コンピュータ読み取り可能な媒体の形態に実現されることができる。このようなコンピュータ読み取り可能な媒体は、前述したイメージの変換方法を実行させるためのプログラムを記録することができる。
コンピュータ読み取り可能な媒体は、コンピュータによりアクセスできる任意の利用可能な媒体であってもよく、揮発性および不揮発性の媒体、分離型および非分離型の媒体を全て含む。また、コンピュータ読み取り可能な媒体は、コンピュータストレージ媒体および通信媒体を全て含むことができる。
コンピュータストレージ媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータのような情報のストレージのための任意の方法または技術で実現された揮発性および不揮発性、分離型および非分離型の媒体を全て含む。このような媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CDおよびDVDのような光記録媒体、フロプティカルディスク(floptical disk)と磁気-光媒体、ROM、RAM、フラッシュメモリなどのようなプログラム命令をストレージし実行するように構成されたハードウェア装置などが挙げられる。
通信媒体は、典型的にコンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、または搬送波のような変調したデータ信号のその他のデータ、またはその他の転送メカニズムを含み、任意の情報伝達媒体を含む。
コンピュータ読み取り可能な命令の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータにより実行できる高級言語コードを含む。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野における通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正および変形が可能である。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するためのものではなく説明するためのものであって、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は以下の請求範囲によって解釈しなければならず、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれるものとして解釈しなければならない。
10 ・・・長方形
100 ・・・地面
200 ・・・対象イメージ
201、202、203、204 ・・・分割イメージ
300、400 ・・・焦点平面
1000 ・・・イメージ補正装置
1010 ・・・入力部
1020 ・・・イメージ変換部
1030 ・・・出力部

Claims (12)

  1. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求めるステップと、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップを含み、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップは、
    全体変換長さのうちi番目分割イメージの変換長さが占める比率が、全体視野長さのうちn-i+1番目分割イメージの視野長さが占める比率と同一であるように、各々の分割イメージに対する変換長さを求めるステップを含み、ここで、nは分割イメージの総個数である、イメージ補正方法。
  2. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求めるステップと、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップを含み、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップは、以下の変換式;
    を用いて、i番目分割イメージの変換長さy を求めるステップを含み、
    ここで、h はi番目分割イメージの視野長さ、nは分割イメージの総個数、Tは対象イメージの全体長さである、イメージ補正方法。
  3. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求めるステップと、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップを含み、
    前記視野長さを求めるステップは、
    視野長さの算出式によって視野長さを求めるステップであって、i番目分割イメージに対する視野長さh の算出式は
    であり
    ここで、Sは視点から焦点までの視線長さであり、θ はi番目分割イメージの視線反対側端部での視野角であり、θ は1番目分割イメージの視線側端部での視野角であり、θ は焦点での視野角である、視野長さの算出式によって視野長さを求めるステップを含む、イメージ補正方法。
  4. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視野長さを求めるステップと、
    前記視野長さから各々の分割イメージに対する変換長さを求めるステップを含み、
    前記視野長さを求めるステップは、
    視野長さの算出式によって視野長さを求めるステップであって、i番目分割イメージに対する視野長さhiの算出式は
    であり、
    ここで、Rは視点から第1イメージの視点側端部までの視線長さであり、θiはi番目分割イメージの視点反対側端部での視野角であり、θ0は1番目分割イメージの視線側端部での視野角である、視野長さの算出式による視野長さを求めるステップを含む、イメージ補正方法。
  5. 前記視点情報は、視点の位置を第1イメージに対して特定できる情報を含む、請求項1~4のいずれか1項に記載のイメージ補正方法。
  6. 前記視点情報は、
    前記第1イメージが位置する平面から視点までの視点高さ(H)、
    前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部(A)までの視点距離(L)、
    前記第1イメージの視点側端部(A)での視野角(θ)、
    前記第1イメージの視点反対側端部(E)での視野角(θ)、
    前記視点から前記第1イメージの視点側端部(A)までの視線長さ、
    前記視点から前記第1イメージの視点反対側端部(E)までの視線長さ、
    前記第1イメージの視点角(∠AOE)
    のうち2個以上を含む、請求項に記載のイメージ補正方法。
  7. コンピュータ読み取り可能な命令語を含むコンピュータ読み取り可能なメモリであって、
    前記命令語は、コンピュータ上で実行される時、前記コンピュータが、請求項1~4のいずれか1項に記載の方法を実行するようにする、コンピュータ読み取り可能なメモリ。
  8. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視点角を求めるステップと、
    前記視点角から各々の分割イメージに対する変換長さを求めるステップを含み、
    前記視点角から各々の分割イメージに対する変換長さを求めるステップは、
    以下の変換式;
    を用いて、i番目分割イメージの変換長さy を求めるステップを含み、
    ここで、Hは前記第1イメージが位置する平面から視点までの視点高さ、Lは前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部までの視点距離である、イメージ補正方法。
  9. コンピュータにより実行されるイメージ補正方法であって、
    第1イメージを提供するステップと、
    前記第1イメージを眺める視点情報を提供するステップと、
    前記第1イメージの横方向に沿って前記第1イメージを2個以上の分割イメージに分割するステップと、
    前記2個以上の分割イメージの各々を前記視点情報および前記分割イメージの各々の縦長さに基づいて変換させることによって、第1イメージから変換された第2イメージを提供するステップを含み、
    前記第1イメージから変換された第2イメージを提供するステップは、
    前記視点情報および前記分割イメージの各々の縦長さに基づいて、各々の分割イメージに対する視点角を求めるステップと、
    前記視点角から各々の分割イメージに対する変換長さを求めるステップを含み、
    前記各々の分割イメージに対する視点角を求めるステップは、
    以下の変換式;
    を用いて、i番目分割イメージに対する視点角α を求めるステップを含み、
    ここで、Tは第1イメージの全体縦長さ、nは分割イメージの総個数、a はi番目分割イメージの縦長さ、θ は1番目分割イメージの視線側端部での視野角、θ はn番目分割イメージの視線反対側端部での視野角である、イメージ補正方法。
  10. 前記視点情報は、視点の位置を第1イメージに対して特定できる情報を含む、請求項8~9のいずれか1項に記載のイメージ補正方法。
  11. 前記視点情報は、
    前記第1イメージが位置する平面から視点までの視点高さ(H)、
    前記視点を前記第1イメージが位置する平面上に投影させた地点から前記第1イメージの視点側端部(A)までの視点距離(L)、
    前記第1イメージの視点側端部(A)での視野角(θ)、
    前記第1イメージの視点反対側端部(E)での視野角(θ)、
    前記視点から前記第1イメージの視点側端部(A)までの視線長さ、
    前記視点から前記第1イメージの視点反対側端部(E)までの視線長さ、
    前記第1イメージの視点角(∠AOE)
    のうち2個以上を含む、請求項10に記載のイメージ補正方法。
  12. コンピュータ読み取り可能な命令語を含むコンピュータ読み取り可能なメモリであって、
    前記命令語は、コンピュータ上で実行される時、前記コンピュータが、請求項8~9のいずれか1項に記載の方法を実行するようにする、コンピュータ読み取り可能なメモリ。
JP2020509406A 2017-04-26 2018-04-26 遠近法に対応したイメージ補正方法および装置 Active JP7360379B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170053983A KR20170061640A (ko) 2017-04-26 2017-04-26 원근법 대응 이미지 보정 방법 및 장치
KR10-2017-0053983 2017-04-26
PCT/KR2018/004876 WO2018199663A1 (ko) 2017-04-26 2018-04-26 원근법 대응 이미지 보정 방법 및 장치

Publications (3)

Publication Number Publication Date
JP2020518931A JP2020518931A (ja) 2020-06-25
JP2020518931A5 JP2020518931A5 (ja) 2021-06-10
JP7360379B2 true JP7360379B2 (ja) 2023-10-12

Family

ID=59222781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509406A Active JP7360379B2 (ja) 2017-04-26 2018-04-26 遠近法に対応したイメージ補正方法および装置

Country Status (7)

Country Link
US (1) US10970826B2 (ja)
EP (1) EP3617989A4 (ja)
JP (1) JP7360379B2 (ja)
KR (1) KR20170061640A (ja)
CN (1) CN110546681B (ja)
AU (1) AU2018257146B2 (ja)
WO (1) WO2018199663A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161173B (zh) * 2019-12-18 2020-11-06 北京城市网邻信息技术有限公司 图像的校正信息获取、模型构建方法和装置、介质
US20220126853A1 (en) * 2020-10-26 2022-04-28 GM Global Technology Operations LLC Methods and systems for stiching of images into a virtual image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078121A (ja) 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
JP2009075842A (ja) 2007-09-20 2009-04-09 Denso Corp 車載表示装置
JP2017529617A (ja) 2014-09-03 2017-10-05 ドン−ヤン シン 遠距離識別イメージ生成装置及びその動作方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPS146502A0 (en) * 2002-03-28 2002-05-09 Traynor, Neil Methods and apparatus relating to improved visual recognition and safety
AU2003248269A1 (en) * 2002-07-12 2004-02-02 Iwane Laboratories, Ltd. Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device
US7680322B2 (en) * 2002-11-12 2010-03-16 Namco Bandai Games Inc. Method of fabricating printed material for stereoscopic viewing, and printed material for stereoscopic viewing
KR101060152B1 (ko) 2011-01-22 2011-08-29 인하대학교 산학협력단 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
KR101261409B1 (ko) 2012-04-24 2013-05-10 이엔지정보기술 주식회사 영상 내 노면표시 인식시스템
KR101584693B1 (ko) * 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
KR101645717B1 (ko) 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
JP6775188B2 (ja) * 2016-08-05 2020-10-28 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ装置および表示制御方法
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
KR101727987B1 (ko) * 2016-10-17 2017-04-18 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078121A (ja) 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
JP2009075842A (ja) 2007-09-20 2009-04-09 Denso Corp 車載表示装置
JP2017529617A (ja) 2014-09-03 2017-10-05 ドン−ヤン シン 遠距離識別イメージ生成装置及びその動作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ziqiong Liu et al,ROI perspective transform based road marking detection and recognition,2012 International Conference on Audio, Language and Image Processing,米国,IEEE,2012年07月18日,841 - 846,https://ieeexplore.ieee.org/document/6376731

Also Published As

Publication number Publication date
EP3617989A4 (en) 2021-01-06
WO2018199663A1 (ko) 2018-11-01
EP3617989A1 (en) 2020-03-04
KR20170061640A (ko) 2017-06-05
US20210012471A1 (en) 2021-01-14
AU2018257146B2 (en) 2023-02-02
CN110546681B (zh) 2023-10-20
AU2018257146A1 (en) 2019-12-19
JP2020518931A (ja) 2020-06-25
US10970826B2 (en) 2021-04-06
CN110546681A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
KR101940971B1 (ko) 가속된 라이트 필드 디스플레이
CN109561294B (zh) 用于渲染图像的方法和设备
US20060267803A1 (en) Non-perspective variable-scale map displays
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
JP7360379B2 (ja) 遠近法に対応したイメージ補正方法および装置
KR100723422B1 (ko) 포인트 기반 렌더링 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체
JP5460635B2 (ja) 画像処理判定装置
CN106796719B (zh) 远距离识别图像生成装置以及其动作方法
JP2012510676A (ja) 仮想3次元空間に表示されたビジュアルコンテンツをブラウズするための方法およびシステム
KR101978271B1 (ko) 원근법 대응 이미지 보정 방법 및 장치
US9846819B2 (en) Map image display device, navigation device, and map image display method
JP5111897B2 (ja) フィルタリング方法及び装置
KR101086443B1 (ko) 3차원 도로 패턴 자동 생성 방법
Wang et al. Enhancing Perception of Risk Objects for Car Drivers Through Augmented Reality Glasses
CN116793382B (zh) 车道导航信息展示方法、装置、电子设备及存储介质
JP6247456B2 (ja) ナビゲーション装置および地図描画方法
EP4357734A1 (en) Method, image processing apparatus, and system for generating road image by using two-dimensional map data
WO2016024375A1 (ja) 画像処理装置及び画像処理方法
Wang et al. Visualizing risk areas using augmented reality glasses as advanced driver-assistance system
JP2005151080A (ja) 立体映像表示装置
JP2006331062A (ja) 立体画像生成方法および立体画像生成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230103

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230929

R150 Certificate of patent or registration of utility model

Ref document number: 7360379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150