JP7222031B2 - 画像の投影方法、装置、デバイス及び記憶媒体 - Google Patents

画像の投影方法、装置、デバイス及び記憶媒体 Download PDF

Info

Publication number
JP7222031B2
JP7222031B2 JP2021106266A JP2021106266A JP7222031B2 JP 7222031 B2 JP7222031 B2 JP 7222031B2 JP 2021106266 A JP2021106266 A JP 2021106266A JP 2021106266 A JP2021106266 A JP 2021106266A JP 7222031 B2 JP7222031 B2 JP 7222031B2
Authority
JP
Japan
Prior art keywords
image
camera
parameter matrix
obtaining
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021106266A
Other languages
English (en)
Other versions
JP2021166075A (ja
Inventor
スナン デン、
インフイ リ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021166075A publication Critical patent/JP2021166075A/ja
Application granted granted Critical
Publication of JP7222031B2 publication Critical patent/JP7222031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0677—Optical disk device, e.g. CD-ROM, DVD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Instrument Panels (AREA)

Description

本願は、データ処理における知能交通の分野に関し、特に、画像の投影方法、装置、デバイス及び記憶媒体に関する。
ヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ、ＨＵＤと略称）は、車両のキー情報を車両のウインドシールドに投影することにより、運転者が頭を下げずにこれらのキー情報を知るようにすることができる技術であり、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲと略称）ＨＵＤは、投影を基に、投影される内容を実景に重ね合わせる必要がある実施形態である。
ＡＲＨＵＤ投影を行う場合、投影される内容と実景との重ね合わせを実現する必要があるため、画像をウインドシールドの対応する位置に投影する必要がある。既存のＡＲＨＵＤの実現案は、人が運転席に座って、ＡＲ画像を投影し、続いて、投影された画像の位置に従って関連のパラメータを調整し、手動で試行と調整を続け、投影される画像と実景との重ね合わせを実現する。
上記の解決手段は、手動で調整と試行を続けるため、操作が複雑で、効率が低い。
本願は、画像の投影方法、装置、デバイス及び記憶媒体を提供する。
本願の第１態様によれば、画像投影方法を提供し、当該方法は、
キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得するステップであって、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある、取得するステップと、
前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得するステップと、
前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定するステップと、
前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するステップと、を含む。
本願の第２態様によれば、画像投影装置を提供し、当該装置は、
キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得するものであって、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある第１取得モジュールと、
前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得する第２取得モジュールと、
前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定する決定モジュールと、
前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御する処理モジュールと、を含む。
本願の第３態様によれば、電子機器を提供し、当該電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行できる命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが第１態様のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
本願の第４態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は、コンピュータに第１態様のいずれかに記載の方法を実行させるために用いられる。
本願の第５態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータプログラム可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行することにより、電子機器に第１態様に記載の方法を実行させる。
本願の実施例にて提供される画像の投影方法、装置、デバイス及び記憶媒体は、まず、キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得し、続いて、ＡＲカメラの第１外部パラメータ行列と、車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得し、第１カメラ座標及び相対的変換関係に基づいて、キャリブレーション対象領域に対応する投影シンボルの、ヘッドアップディスプレイの座標系での第２カメラ座標を決定することにより、第２カメラ座標に基づいて、ヘッドアップディスプレイが投影シンボルを含む画像を投影するように制御する。本願の実施例の解決手段は、第１外部パラメータ行列と第２外部パラメータ行列との間の相対的変換関係により、ＡＲカメラによって認識されたキャリブレーション対象領域の第１カメラ座標をヘッドアップディスプレイの座標系に変換することにより、投影シンボルのヘッドアップディスプレイでの第２カメラ座標を取得し、そして、第２カメラ座標に基づいて画像を投影し、それにより、画像投影後の投影シンボルとキャリブレーション対象領域との実景の重ね合わせが実現される。手動でパラメータを調整し、かつ、何度も試行する必要がなく、操作が簡便で、効率が高い。
本明細書に記載の内容は、本願の実施例の主要な特徴又は重要な特徴を特定することを意図したものではなく、本願の範囲を限定することを意図したものでもないことを理解されたい。本願のその他の特徴は、以下の明細書によって容易に理解される。
図面は、本実施形態をより良く理解するために使用され、本願の制限を構成するものではない。
本願の実施例にて提供される応用シーンの模式図である。 本願の実施例にて提供される画像投影方法のフローチャートである。 本願の実施例にて提供される相対的変換関係を取得するフローチャートである。 本願の実施例にて提供される第１相対的変換関係の取得の模式図である。 本願の実施例にて提供される第２相対的変換関係の取得の模式図である。 本願の実施例にて提供される画像投影システムのブロック図である。 本願の実施例にて提供される画像投影装置の構造模式図である。 本願の実施例にて提供される例示の電子機器の概略ブロック図である。
以下、図面を参照しながら本願の例示的な実施例を説明するが、この説明には、理解を容易にするために本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解できる。同様に、分かりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造についての説明を省略する。
ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙは、ヘッドアップ表示、アイレベル表示であり、ヘッドアップ（アイレベル）ディスプレイ、ヘッドアップ（アイレベル）表示システムとも呼ばれ、運転者を中心として時速やナビゲーションなどの重要な運転情報を運転者の前のウインドシールドに投影することができ、それにより、運転者ができるだけ頭を下げたり、首を回したりすることなく重要な運転情報を見ることができるようにする技術である。
ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙは、拡張現実である。本願では、ＡＲＨＵＤは、ＨＵＤを基に、内部の特別に設計された光学システムで画像情報を実際の交通状況に精密に組み込み、例えば、タイヤ空気圧、速度、回転速度或いはナビゲーションなどの情報を前のウインドシールドに投影し、運転者は、頭を下げたり、首を回したりすることなく重要な運転情報を見ることができ、かつ、投影される情報は、車両の前方の実景と融合することができる。
内部パラメータ行列とは、カメラのパラメータであり、内部パラメータ行列は、３Ｄカメラ座標を２Ｄ同次画像座標に変換した行列であり、カメラ座標系と画素座標系との間の座標変換を実現できる。
外部パラメータ行列とは、カメラのパラメータであり、外部パラメータ行列は、回転行列及び平行移動ベクトルを含み、回転行列及び平行移動ベクトルは、いかに点をワールド座標系からカメラ座標系へ変換するかをまとめて説明し、ここで、回転行列はカメラ座標系の座標軸に対するワールド座標系の座標軸の向きを説明し、平行移動ベクトルはカメラ座標系での空間の原点の位置を説明する。外部パラメータ行列によってワールド座標系とカメラ座標系との間の座標変換を実現できる。
図１は、本願の実施例にて提供される応用シーンの模式図であり、図１に示すように、車両は、ＡＲカメラ１１及びヘッドアップディスプレイ１２を含み、ＡＲカメラ１１の撮影範囲は、図１の対応する点線で示すとおりである。車両の前方には道路区間１３があり、ＡＲカメラ１１は、車両の前方の画面を撮影することができ、ここで道路区間１３は、ＡＲカメラ１１の撮影範囲内に位置する。
ヘッドアップディスプレイ１２は、画面をウインドシールド１４に投影するために用いられ、運転者は、運転中に前方を見るとき、ウインドシールド１４上の投影画面を観察することができる。ここで、運転席の運転者が前方を観察するとき、投影された画面と車両の前方の実景との融合を実現する必要がある。
例えば、車両の前方の実景が道路区間１３である例をあげると、図１の下方の例示のように、ここで、道路区間１３は、右折レーン及び直行レーンを含む交差点である。この場合、ＡＲカメラは、車両の前方の画面を撮影して当該交差点を認識することができる。ヘッドアップディスプレイ１２が投影する必要のある画面に右折矢印が含まれている場合、運転者に見える右折矢印がちょうど右折レーンに対応することが望ましい。図１の下方の画面は、運転者に見える右折矢印が右折レーンに重ね合わされた画面である。
画像を投影する際に、投影される画像内容と実景との重ね合わせを実現する必要があるため、投影された画像は、ウインドシールドの対応する位置に位置する必要がある。現在、画像投影を実現する解決手段は、人が運転席に座って、ＡＲカメラで画面を撮影して、画面におけるキャリブレーション対象領域を認識し、続いて、ヘッドアップディスプレイで画像を投影し、人が、投影される画像と実景との重ね合わせ効果を観察し、続いて、手動でパラメータを調整し、何度も試行、これを投影される画像と実景との重ね合わせが実現されるまで行う。このような方法の操作は複雑で、効率が低い。
当該問題に基づいて、本願の実施例は、画像投影解決手段を提供し、手動で何度も調整し、試行する必要がなく、画像投影の効率を向上させることができ、操作が簡便である。以下、図面を参照しながら本願の解決手段について説明する。
図２は、本願の実施例にて提供される画像投影方法のフローチャートであり、図２に示すように、当該方法は、Ｓ２１～Ｓ２４を含み得る。
Ｓ２１、キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得し、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある。
ＡＲカメラは、車両の車載カメラであり、車両の前方の画像を撮影し、画像からキャリブレーション対象領域を認識するために使用され得る。キャリブレーション対象領域は、画像投影とキャリブレーションを行う必要がある領域であり、キャリブレーション対象領域はＡＲカメラの撮影範囲内に位置する。例えば、よくあるキャリブレーション対象領域は、左折レーン、右折レーン、直行レーン、Ｕターン領域などがあり得る。
どの領域がキャリブレーション対象領域であるかを予め設定してから、ＡＲカメラが撮影した画面を取得することができる。ＡＲカメラが撮影した画面にキャリブレーション対象領域が出現すると、認識して、ＡＲカメラのカメラ座標系でのキャリブレーション対象領域の第１カメラ座標を得ることができる。
Ｓ２２、前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得する。
ヘッドアップディスプレイは、車両上の装置であり、画像を投影するために用いられ、車両のウインドシールドに投影する。外部パラメータ行列によってワールド座標系及びカメラ座標系での座標変換が実現できる。例えば、ＡＲカメラの第１外部パラメータ行列に基づいて、キャリブレーション対象領域の第１カメラ座標を、対応するワールド座標系での座標に変換することができる。本願の実施例では、ＡＲカメラの第１外部パラメータ行列とヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得する必要があり、これは、最終的に、ヘッドアップディスプレイによって画像が投影され、投影される画像は実景と融合する必要があり、キャリブレーション対象領域が１つの実景であるからである。
Ｓ２３、前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定する。
第１外部パラメータ行列と第２外部パラメータ行列との間の相対的変換関係を取得した後、第１外部パラメータ行列に基づいて第１カメラ座標をキャリブレーション対象領域のワールド座標系での座標に変換することができ、続いて、相対的変換関係及び第１外部パラメータ行列に基づいて、第２外部パラメータ行列を取得し、第２外部パラメータ行列に基づいてヘッドアップディスプレイの座標系でのキャリブレーション対象領域のカメラ座標を取得する。
投影シンボルは、最終的にウインドシールドに投影され、実景と融合する必要がる。キャリブレーション対象領域が右折レーンである例を挙げると、投影シンボルは右折矢印であり、実現する必要のある効果は、運転席から見た場合、右折矢印の位置がちょうど右折レーンにあることであり、それにより、実景との融合が実現される。したがって、ヘッドアップディスプレイの座標系でのキャリブレーション対象領域のカメラ座標を決定した後、それに応じて、ヘッドアップディスプレイの座標系での投影シンボルの第２カメラ座標を決定することができる。
Ｓ２４、前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御する。
投影シンボルの第２カメラ座標を決定すると、ヘッドアップディスプレイが当該投影シンボルを含む画像を投影するように制御することができ、投影シンボルの第２カメラ座標に基づいて、投影シンボルの画像での位置を決定して、画像を投影することができる。
本願の実施例にて提供される画像投影方法は、まず、キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得し、続いて、ＡＲカメラの第１外部パラメータ行列と、車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得し、そして、第１カメラ座標及び相対的変換関係に基づいて、キャリブレーション対象領域に対応する投影シンボルの、ヘッドアップディスプレイの座標系での第２カメラ座標を決定することにより、第２カメラ座標に基づいて、ヘッドアップディスプレイが投影シンボルを含む画像を投影するように制御する。本願の実施例の解決手段は、第１外部パラメータ行列と第２外部パラメータ行列との間の相対的変換関係により、ＡＲカメラによって認識されたキャリブレーション対象領域の第１カメラ座標をヘッドアップディスプレイの座標系に変換することにより、投影シンボルのヘッドアップディスプレイでの第２カメラ座標を取得し、そして、第２カメラ座標に基づいて画像を投影し、それにより、画像投影後の投影シンボルとキャリブレーション対象領域との実景の重ね合わせが実現される。手動でパラメータを調整し、かつ、何度も試行する必要がなく、操作が簡便で、効率が高い。
以下、図面を参照しながら、本願の解決手段について説明する。
図３は、本願の実施例にて提供される相対的変換関係を取得するフローチャートであり、図３に示すように、Ｓ３１～Ｓ３３を含む。
Ｓ３１、前記第１外部パラメータ行列と、前記車両の運転席の所定の位置に設置される第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得する。
第１カメラは、車両の運転席の所定の位置にあるカメラであり、第１カメラの撮影範囲は、運転席に座っている運転者の観察範囲に近く、一般の運転者の目のおおよその方位に基づいて、第１カメラの運転席での所定の位置を決定してよい。
図４は、本願の実施例にて提供される第１相対的変換関係の取得の模式図であり、図４に示すように、第１カメラ４１、ＡＲカメラ４２及びウインドシールド４３を含み、第１カメラ４１がある所定の位置は、運転者の目がある位置に隣接する。図４の点線は、それぞれ第１カメラ４１及びＡＲカメラ４２の撮影範囲である。
ＡＲカメラの第１外部パラメータ行列と第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得するためには、参照物を設定する必要があり、ＡＲカメラ及び第１カメラはこの参照物を撮影する必要があり、続いて、座標変換にしたがって第１相対的変換関係を取得する。
具体的には、車両の前方に所定のパタンを設定することができ、ＡＲカメラは当該所定のパタンを撮影して、第１画像を取得し、第１カメラは当該所定のパタンを撮影して、第２画像を取得する。続いて、ＡＲカメラの第１内部パラメータ行列及び第１カメラの第２内部パラメータ行列を取得する。ここで、カメラの内部パラメータ行列はカメラの固定パラメータであり、直接に取得することができる。内部パラメータ行列によってカメラ座標系と画素座標系での座標変換を実現することができる。
第１内部パラメータ行列及び第２内部パラメータ行列を取得した後、第１画像、第２画像、第１内部パラメータ行列及び第２内部パラメータ行列に基づいて、第１相対的変換関係を取得することができる。
具体的には、所定のパタンの任意の第１所定の点について、第１所定の点のワールド座標系での第１ワールド座標と、第１所定の点の、第１画像で対応する第１画像座標及び第２画像で対応する第２画像座標を取得することができ、ただし、第１画像座標は、ＡＲカメラの画素座標系での第１所定の点の座標であり、第２画像座標は、第１カメラの画素座標系での第１所定の点の座標である。
第１ワールド座標、第１画像座標及び第２画像座標を取得すると、第１ワールド座標、第１画像座標及び第１内部パラメータ行列に基づいて、ＡＲカメラの第１姿勢を取得し、第１ワールド座標、第２画像座標及び第２内部パラメータ行列に基づいて、第１カメラの第２姿勢を取得することができる。
第１姿勢及び第２姿勢を取得すると、第１姿勢及び第２姿勢に基づいて、第１相対的変換関係を取得することができる。以下、図４を参照しながら、当該プロセスについて説明する。
図４に示すように、チェッカーボード４４を所定のパタンの例とすると、ＡＲカメラ４２及び第１カメラ４１は、それぞれ車両の前方のチェッカーボード４４を撮影して、それぞれ第１画像及び第２画像を取得する。
チェッカーボード４４の角点を第１所定の点とし、第１所定の点のワールド座標系での第１ワールド座標は（ｘｉ，ｙｉ）であり、続いて、第１画像に基づいて、ＡＲカメラ４２の画素座標系での第１所定の点の第１画像座標（ｕ２ｉ，ｖ２ｉ）を取得し、第２画像に基づいて、第１カメラ４１の画素座標系での第１所定の点の第２画像座標（ｕ１ｉ，ｖ１ｉ）を取得する。
ＡＲカメラ４２の第１内部パラメータ行列はＩａで、第１姿勢は［Ｒａ｜ｔａ］で、第１カメラ４１の第２内部パラメータ行列はＩｅで、第２姿勢は［Ｒｅ｜ｔｅ］であると仮定する。
次の式を得ることができる。
Figure 0007222031000001
Figure 0007222031000002
ここで、Ｓ１ｉは第１カメラのスケールファクターであり、Ｓ２ｉはＡＲカメラのスケールファクターであり、Ｉはユニタリ行列である。式（１）は、ＡＲカメラの画素座標系とワールド座標系での第１所定の点の座標変換を表す式であり、式（２）は、第１カメラの画素座標系とワールド座標系での第１所定の点の座標変換を表す式である。
式（１）に基づいて第１姿勢［Ｒａ｜ｔａ］を取得することができ、式（２）に基づいて第２姿勢［Ｒｅ｜ｔｅ］を取得することができる。ここで、ＲａはＡＲカメラの回転行列であり、ｔａは、対応する平行移動ベクトルである。Ｒｅは第１カメラの回転行列であり、ｔｅは、対応する平行移動ベクトルである。
第１姿勢及び第２姿勢を取得すると、第１相対的変換関係を取得することができる。
Figure 0007222031000003
ここで、
Figure 0007222031000004
 は第３外部パラメータ行列であり、
Figure 0007222031000005
 は第１外部パラメータ行列である。
Ｓ３２、前記第２外部パラメータ行列と前記第３外部パラメータ行列との間の第２相対的変換関係を取得する。
第１相対的変換関係を取得した後、第２外部パラメータ行列と第３外部パラメータ行列との間の第２相対的変換関係を取得する必要があり、そうしてからこそ、第１外部パラメータ行列と第２外部パラメータ行列との間の相対的変換関係を最終的に取得することができ、ここで、第２相対的変換関係の取得は、第１相対的変換関係の取得と類似し、以下、詳細に説明する。
まず、ヘッドアップディスプレイによって投影される第３画像、及び第１カメラが第３画像を撮影して得た第４画像を取得する必要があり、第３画像と第４画像の解像度は同じである。
続いて、第１カメラの第２内部パラメータ行列及びヘッドアップディスプレイの第３内部パラメータ行列を取得し、第３画像、第４画像、第２内部パラメータ行列及び第３内部パラメータ行列に基づいて、第２相対的変換関係を取得する。
具体的には、第３画像の任意の第２所定の点について、第２所定の点のワールド座標系での第２ワールド座標と、第２所定の点の、第３画像で対応する第３画像座標及び第４画像で対応する第４画像座標、を取得することができ、ここで、第３画像座標は、ヘッドアップディスプレイの画素座標系での第２所定の点の座標であり、第４画像座標は、第１カメラの画素座標系での第２所定の点の座標である。
第２ワールド座標、第３画像座標及び第４画像座標を取得すると、第２ワールド座標、第３画像座標及び第３内部パラメータ行列に基づいて、ヘッドアップディスプレイの第３姿勢を取得し、第２ワールド座標、第４画像座標及び第２内部パラメータ行列に基づいて、第１カメラの第２姿勢を取得することができる。
第３姿勢及び第２姿勢を得た後、第３姿勢及び第２姿勢に基づいて、第２相対的変換関係を取得することができる。以下、図５を参照しながら、当該プロセスについて説明する。
図５は、本願の実施例にて提供される第２相対的変換関係の取得の模式図であり、図５に示すように、第１カメラ４１、ヘッドアップディスプレイ５１及びウインドシールド４３を含み、第１カメラ４１がある所定の位置は、運転者の目がある位置に隣接する。
一枚のチェッカーボード写真５２を生成し、チェッカーボード写真５２の角点を第２所定の点とし、第２所定の点のワールド座標系での第２ワールド座標は（ｘｊ，ｙｊ）であり、続いて、ヘッドアップディスプレイ５１で当該チェッカーボード写真５２を投影して第３画像を取得し、第１カメラ４１がヘッドアップディスプレイ５１によって投影されたチェッカーボード写真５２を撮影して第４画像を取得する。
続いて、第３画像に基づいて、ヘッドアップディスプレイ５１の画素座標系での第２所定の点の第３画像座標（ｕ１ｊ，ｖ１ｊ）を取得し、第４画像に基づいて、第１カメラ４１の画素座標系での第２所定の点の第４画像座標（ｕ２ｊ，ｖ２ｊ）を取得する。
ヘッドアップディスプレイ５１の第３内部パラメータ行列はＩａで、第３姿勢は［Ｒｈ｜ｔｈ］で、第１カメラ４１の第２内部パラメータ行列はＩｅで、第２姿勢は［Ｒｅ｜ｔｅ］であると仮定する。
次の式を得ることができる。
Figure 0007222031000006
ここで、Ｓ１ｊは、ヘッドアップディスプレイのスケールファクターであり、Ｓ２ｊは第１カメラのスケールファクターであり、Ｉはユニタリ行列である。式（４）は、ヘッドアップディスプレイの画素座標系とワールド座標系での第２所定の点の座標変換を表す式であり、式（５）は、第１カメラの画素座標系とワールド座標系での第２所定の点の座標変換を表す式である。
式（４）に基づいて、第３姿勢［Ｒｈ｜ｔｈ］を取得することができ、式（５）に基づいて、第２姿勢［Ｒｅ｜ｔｅ］を取得することができる。ここで、Ｒｈはヘッドアップディスプレイの回転行列であり、ｔｈは、対応する平行移動ベクトルである。Ｒｅは、第１カメラの回転行列であり、ｔｅは、対応する平行移動ベクトルである。
第３姿勢及び第２姿勢を取得すると、第２相対的変換関係を取得することができる。
Figure 0007222031000007
ここで、
Figure 0007222031000008
 は第３外部パラメータ行列であり、
Figure 0007222031000009
 は第２外部パラメータ行列である。
Ｓ３３、前記第１相対的変換関係及び前記第２相対的変換関係に基づいて、前記相対的変換関係を取得する。
式（３）及び式（６）から、次の式を得ることができる。
Figure 0007222031000010
 即ち、相対的変換関係Ｔａｈは次の式のとおりである。
Figure 0007222031000011
式（８）のキャリブレーション結果を構成ファイル又はデータベースに記憶すると、後続の画像投影に使用することができる。
具体的には、第１カメラ座標及び相対的変換関係に基づいて、ヘッドアップディスプレイの座標系でのキャリブレーション対象領域の第３カメラ座標を決定し、続いて、キャリブレーション対象領域と投影シンボルとの間の実景の重ね合わせ関係及び第３カメラ座標に基づいて、第２カメラ座標を決定することができる。最後に、第２カメラ座標に基づいて、ヘッドアップディスプレイが投影シンボルを含む画像を投影するように制御する。
図６は、本願の実施例にて提供される画像投影システムのブロック図であり、図６に示すように、センターパネル 、ＡＲカメラ、第１カメラ、チェッカーボードディスプレイ及びヘッドアップディスプレイを含む。
ここで、ＡＲカメラ及び第１カメラは、それぞれチェッカーボードを撮影して、それぞれ第１チェッカーボード画像（即ち、上記実施例の第１画像）及び第２チェッカーボード画像（即ち、上記実施例の第２画像）を取得し、続いて、ＡＲカメラがセンターパネル に第１チェッカーボード画像を送信し、第１カメラがセンターパネルに第２チェッカーボード画像を送信する。続いて、ヘッドアップディスプレイが第３チェッカーボード画像（即ち、上記実施例の第３画像）を投影し、第１カメラが第３チェッカーボード画像を撮影して第４チェッカーボード画像（即ち、上記実施例の第４画像）を取得し、ヘッドアップディスプレイがセンターパネルに第３チェッカーボード画像を送信し、第１カメラがセンターパネル に第４チェッカーボード画像を送信する。
続いて、センターパネルは、上記チェッカーボード画像の座標変換関係に基づいて、ＡＲカメラの第１外部パラメータ行列とヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得し、当該相対的変換関係に基づいてヘッドアップディスプレイが画像をチェッカーボードディスプレイに投影するように制御し、当該チェッカーボードディスプレイは、例えば車両のウインドシールドなどであり得る。
本願の実施例にて提供される画像投影方法は、まず、キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得し、続いて、ＡＲカメラの第１外部パラメータ行列と、車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得し、そして、第１カメラ座標及び相対的変換関係に基づいて、キャリブレーション対象領域に対応する投影シンボルの、ヘッドアップディスプレイの座標系での第２カメラ座標を決定することにより、第２カメラ座標に基づいて、ヘッドアップディスプレイが投影シンボルを含む画像を投影するように制御する。本願の実施例の解決手段は、第１外部パラメータ行列と第２外部パラメータ行列との間の相対的変換関係により、ＡＲカメラによって認識されたキャリブレーション対象領域の第１カメラ座標をヘッドアップディスプレイの座標系に変換することにより、投影シンボルのヘッドアップディスプレイでの第２カメラ座標を取得し、そして、第２カメラ座標に基づいて画像を投影し、それにより、画像投影後の投影シンボルとキャリブレーション対象領域との実景の重ね合わせが実現される。手動でパラメータを調整し、かつ、何度も試行する必要がなく、操作が簡便で、効率が高い。
図７は、本願の実施例にて提供される画像投影装置の構造模式図であり、図７に示すように、当該装置７０は、
キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得するために用いられ、ただし、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある第１取得モジュール７１と、
前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得するための第２取得モジュール７２と、
前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定するための決定モジュール７３と、
前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するための処理モジュール７４と、を含む。
可能な一実施形態では、前記第２取得モジュール７２は、
前記第１外部パラメータ行列と、前記車両の運転席の所定の位置に設置される第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得するための第１取得ユニットと、
前記第２外部パラメータ行列と前記第３外部パラメータ行列との間の第２相対的変換関係を取得するための第２取得ユニットと、
前記第１相対的変換関係及び前記第２相対的変換関係に基づいて、前記相対的変換関係を取得するための第３取得ユニットと、を含む。
可能な一実施形態では、前記第１取得ユニットは、
前記ＡＲカメラが所定のパタンを撮影した第１画像及び前記第１カメラが前記所定のパタンを撮影した第２画像を取得するために用いられ、前記所定のパタンは、前記車両の前方に設定される第１取得サブユニットと、
前記ＡＲカメラの第１内部パラメータ行列及び前記第１カメラの第２内部パラメータ行列を取得するための第２取得サブユニットと、
前記第１画像、前記第２画像、前記第１内部パラメータ行列及び前記第２内部パラメータ行列に基づいて、前記第１相対的変換関係を取得するための第３取得サブユニットと、を含む。
可能な一実施形態では、前記第３取得サブユニットは、具体的には、
前記所定のパタンの任意の第１所定の点について、前記第１所定の点のワールド座標系での第１ワールド座標と、前記第１所定の点の、前記第１画像で対応する第１画像座標及び前記第２画像で対応する第２画像座標を取得し、
前記第１ワールド座標、前記第１画像座標及び前記第１内部パラメータ行列に基づいて、前記ＡＲカメラの第１姿勢を取得し、
前記第１ワールド座標、前記第２画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得し、
前記第１姿勢及び前記第２姿勢に基づいて、前記第１相対的変換関係を取得するために用いられる。
可能な一実施形態では、前記第２取得ユニットは、
前記ヘッドアップディスプレイによって投影された第３画像、及び前記第１カメラが前記第３画像を撮影して得られた第４画像を取得するために用いられ、前記第３画像は前記第４画像と解像度が同じである第４取得サブユニットと、
前記第１カメラの第２内部パラメータ行列及び前記ヘッドアップディスプレイの第３内部パラメータ行列を取得するための第５取得サブユニットと、
前記第３画像、前記第４画像、前記第２内部パラメータ行列及び前記第３内部パラメータ行列に基づいて、前記第２相対的変換関係を取得するための第６取得サブユニットと、を含む。
可能な一実施形態では、前記第６取得サブユニットは、具体的には、
前記第３画像の任意の第２所定の点について、前記第２所定の点のワールド座標系での第２ワールド座標と、前記第２所定の点の、前記第３画像で対応する第３画像座標及び前記第４画像で対応する第４画像座標と、を取得し、
前記第２ワールド座標、前記第３画像座標及び前記第３内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第３姿勢を取得し、
前記第２ワールド座標、前記第４画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得し、
前記第３姿勢及び前記第２姿勢に基づいて、前記第２相対的変換関係を取得するために用いられる。
可能な一実施形態では、前記決定モジュール７３は、
前記第１カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第３カメラ座標を決定するための決定ユニットと、
前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第３カメラ座標に基づいて、前記第２カメラ座標を決定するための処理ユニットと、を含む。
本願の実施例にて提供される画像投影装置は、上記方法の実施例を実行するために用いられ、その実現原理及び技術的効果は類似するため、本実施例では、ここで詳細な説明を省略する。
本願の実施例によれば、本願は、電子機器及び可読記憶媒体をさらに提供する。
本願の実施例によれば、本願は、コンピュータプログラムをさらに提供し、コンピュータプログラムはコンピュータプログラム可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、可読記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサがコンピュータプログラムを実行すると、電子機器が上記のいずれの実施例にて提供される解決手段を実行する。
図８は、本願の実施例の実施に使用することができる例示の電子機器８００の概略ブロック図を示した。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限する意図ではない。
図８に示すように、電子機器８００は、読み取り専用メモリ（ＲＯＭ）８０２に記憶されているコンピュータプログラム又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムにしたがって、様々な適切な動作及び処理を実行することができるコンピューティングユニット８０１を含む。ＲＡＭ８０３には、デバイス８００の操作に必要な様々なプログラム及びデータを記憶することもできる。コンピューティングユニット８０１、ＲＯＭ８０２及びＲＡＭ ８０３は、バス８０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続される。
キーボード、マウスなどの入力ユニット８０６と、様々なタイプのディスプレイ、スピーカーなどの出力ユニット８０７と、磁気ディスク、光ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、ワイヤレス通信トランシーバーなどの通信ユニット８０９とを含むデバイス８００の複数の部材は、Ｉ／Ｏインターフェース８０５に接続される。通信ユニット８０９は、インターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークなどを介して、デバイス８００が他のデバイスと情報／データを交換することを可能にする。
コンピューティングユニット８０１は、処理及びコンピューティング能力を有する様々な汎用及び／又は特定用途向け処理アセンブリであり得る。コンピューティングユニット８０１の一部の例示は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な特定用途向けの人工知能（ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及びいずれの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。コンピューティングユニット８０１は、上に説明した各方法及び処理、例えば画像投影方法を実行する。例えば、一部の実施例では、画像投影方法は、コンピュータソフトウェアプログラムとして実装されてもよく、記憶ユニット８０８などの機械可読媒体に物理的に含まれる。一部の実施例では、コンピュータプログラムの一部又は全部は、ＲＯＭ８０２及び／又は通信ユニット８０９を介して及び／又はデバイス８００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ８０３にロードされて、コンピューティングユニット８０１によって実行されると、上に説明した画像投影方法の１つ又は複数のステップを実行することができる。選択的に、他の実施例では、コンピューティングユニット８０１は、他のいずれの適切な方式（例えば、ファームウェアを介して）により画像投影方法を実行するように構成される。
本明細書に説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにより実装され得る。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含み、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつ、データ及び命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組合せを用いて書くことができる。これらのプログラムコードは、汎用コンピュータ、特定用途向けコンピュータ或いは他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよいため、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図において定義された機能／操作が実施される。プログラムコードは、完全にマシン上で実行されても、部分的にマシン上で実行されてもよく、独立型ソフトウェアパッケージとして、一部がマシン上で実行されるとともに、一部がリモートマシン上で実行されるか、又は完全にリモートマシン或いはサーバ上で実行されてもよい。
本開示の文脈において、機械可読媒体は、有形媒体であってもよく、命令実行システム、装置或いはデバイスの使用に提供されるか、又は命令実行システム、装置或いはデバイスと結合して使用されるプログラムを含むか、又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置或いはデバイス、又は上記内容の任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のさらなる具体的な例示は、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、又は上記内容のいずれの適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、本明細書に説明したシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスやトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって、コンピュータに入力することが可能になる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、そして、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信できる。
本明細書に説明したシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はＷＥＢブラウザーを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該ＷＥＢブラウザーを介して本明細書に説明したシステム及び技術の実施形態とインタラクションすることができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステム中で実施できる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれるクラウドサーバであってもよく、従来の物理ホスト及びＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、略称「ＶＰＳ」）は、管理が難しく、サービス拡張性が弱いという欠点を解決するための、クラウドコンピューティングサービスシステムにおけるホスト製品の１つである。サーバは、分散システムのサーバであっても、ブロックチェーンと組み合わせたサーバであってもよい。
なお、上記の様々な形態のフローを使用して、ステップを並べ替えたり、追加したり、削除したりすることができる。例えば、本願に記載の各ことは、本願に開示されている技術案が所望の結果を達成できる限り、並行に実施されてもよいし、順次実施されてもよいし、異なる順序で実施されてもよく、本明細書では、それについて限定しない。
上記の具体的な実施形態は、本願の特許保護範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神と原則の範囲内で行われる修正、同等の置換、及び改良であれば、本願の特許保護範囲に含まれるべきである。

Claims (15)

  1. キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得するステップであって、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある、取得するステップと、
    前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得するステップと、
    前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定するステップと、
    前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するステップと、を含み、
    前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得するステップは、
    前記第１外部パラメータ行列と、第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得するステップであって、前記第１カメラは、前記車両の運転席の所定の位置に設置される、取得するステップと、
    前記第２外部パラメータ行列と前記第３外部パラメータ行列との間の第２相対的変換関係を取得するステップと、
    前記第１相対的変換関係及び前記第２相対的変換関係に基づいて、前記相対的変換関係を取得するステップと、を含む、
    画像投影方法。
  2. 前記第１外部パラメータ行列と、第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得するステップは、
    前記ＡＲカメラが所定のパタンを撮影した第１画像及び前記第１カメラが前記所定のパタンを撮影した第２画像を取得するステップであって、前記所定のパタンは、前記車両の前方に設定される、取得するステップと、
    前記ＡＲカメラの第１内部パラメータ行列及び前記第１カメラの第２内部パラメータ行列を取得するステップと、
    前記第１画像、前記第２画像、前記第１内部パラメータ行列及び前記第２内部パラメータ行列に基づいて、前記第１相対的変換関係を取得するステップと、を含む、
    請求項１に記載の画像投影方法。
  3. 前記第１画像、前記第２画像、前記第１内部パラメータ行列及び前記第２内部パラメータ行列に基づいて、前記第１相対的変換関係を取得するステップは、
    前記所定のパタンの任意の第１所定の点について、前記第１所定の点のワールド座標系での第１ワールド座標と、前記第１所定の点の、前記第１画像で対応する第１画像座標及び前記第２画像で対応する第２画像座標を取得するステップと、
    前記第１ワールド座標、前記第１画像座標及び前記第１内部パラメータ行列に基づいて、前記ＡＲカメラの第１姿勢を取得するステップと、
    前記第１ワールド座標、前記第２画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得するステップと、
    前記第１姿勢及び前記第２姿勢に基づいて、前記第１相対的変換関係を取得するステップと、を含む、
    請求項２に記載の画像投影方法。
  4. 前記第２外部パラメータ行列と前記第３外部パラメータ行列との間の第２相対的変換関係を取得するステップは、
    前記ヘッドアップディスプレイによって投影された第３画像、及び前記第１カメラが前記第３画像を撮影して得られた第４画像を取得するステップであって、前記第３画像は前記第４画像と解像度が同じである、取得するステップと、
    前記第１カメラの第２内部パラメータ行列及び前記ヘッドアップディスプレイの第３内部パラメータ行列を取得するステップと、
    前記第３画像、前記第４画像、前記第２内部パラメータ行列及び前記第３内部パラメータ行列に基づいて、前記第２相対的変換関係を取得するステップと、を含む、
    請求項１～請求項３のいずれか１項に記載の画像投影方法。
  5. 前記第３画像、前記第４画像、前記第２内部パラメータ行列及び前記第３内部パラメータ行列に基づいて、前記第２相対的変換関係を取得するステップは、
    前記第３画像の任意の第２所定の点について、前記第２所定の点のワールド座標系での第２ワールド座標と、前記第２所定の点の、前記第３画像で対応する第３画像座標及び前記第４画像で対応する第４画像座標を取得するステップと、
    前記第２ワールド座標、前記第３画像座標及び前記第３内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第３姿勢を取得するステップと、
    前記第２ワールド座標、前記第４画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得するステップと、
    前記第３姿勢及び前記第２姿勢に基づいて、前記第２相対的変換関係を取得するステップと、を含む、
    請求項４に記載の画像投影方法。
  6. 前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定するステップは、
    前記第１カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第３カメラ座標を決定するステップと、
    前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第３カメラ座標に基づいて、前記第２カメラ座標を決定するステップと、を含む、
    請求項１～５のいずれか１項に記載の画像投影方法。
  7. キャリブレーション対象領域の、車両のＡＲカメラのカメラ座標系での第１カメラ座標を取得するためのものであって、前記キャリブレーション対象領域は、前記ＡＲカメラの撮影範囲内にある、第１取得モジュールと、
    前記ＡＲカメラの第１外部パラメータ行列と、前記車両のヘッドアップディスプレイの第２外部パラメータ行列との間の相対的変換関係を取得するための第２取得モジュールと、
    前記第１カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第２カメラ座標を決定するための決定モジュールと、
    前記第２カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するための処理モジュールと、を含み、
    前記第２取得モジュールは、
    前記第１外部パラメータ行列と、前記車両の運転席の所定の位置に設置される第１カメラの第３外部パラメータ行列との間の第１相対的変換関係を取得するための第１取得ユニットと、
    前記第２外部パラメータ行列と前記第３外部パラメータ行列との間の第２相対的変換関係を取得するための第２取得ユニットと、
    前記第１相対的変換関係及び前記第２相対的変換関係に基づいて、前記相対的変換関係を取得するための第３取得ユニットと、を含む、
    画像投影装置。
  8. 前記第１取得ユニットは、
    前記ＡＲカメラが所定のパタンを撮影した第１画像及び前記第１カメラが前記所定のパタンを撮影した第２画像を取得するためのものであって、前記所定のパタンは、前記車両の前方に設定される、第１取得サブユニットと、
    前記ＡＲカメラの第１内部パラメータ行列及び前記第１カメラの第２内部パラメータ行列を取得するための第２取得サブユニットと、
    前記第１画像、前記第２画像、前記第１内部パラメータ行列及び前記第２内部パラメータ行列に基づいて、前記第１相対的変換関係を取得するための第３取得サブユニットと、を含む、
    請求項７に記載の画像投影装置。
  9. 前記第３取得サブユニットは、
    前記所定のパタンの任意の第１所定の点について、前記第１所定の点のワールド座標系での第１ワールド座標と、前記第１所定の点の、前記第１画像で対応する第１画像座標及び前記第２画像で対応する第２画像座標を取得し、
    前記第１ワールド座標、前記第１画像座標及び前記第１内部パラメータ行列に基づいて、前記ＡＲカメラの第１姿勢を取得し、
    前記第１ワールド座標、前記第２画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得し、
    前記第１姿勢及び前記第２姿勢に基づいて、前記第１相対的変換関係を取得するために用いられる、
    請求項８に記載の画像投影装置。
  10. 前記第２取得ユニットは、
    前記ヘッドアップディスプレイによって投影された第３画像、及び前記第１カメラが前記第３画像を撮影して得られた第４画像を取得するためのものであって、前記第３画像は前記第４画像と解像度が同じである、第４取得サブユニットと、
    前記第１カメラの第２内部パラメータ行列及び前記ヘッドアップディスプレイの第３内部パラメータ行列を取得するための第５取得サブユニットと、
    前記第３画像、前記第４画像、前記第２内部パラメータ行列及び前記第３内部パラメータ行列に基づいて、前記第２相対的変換関係を取得するための第６取得サブユニットと、を含む、
    請求項７～９のいずれか１項に記載の画像投影装置。
  11. 前記第６取得サブユニットは、
    前記第３画像の任意の第２所定の点について、前記第２所定の点のワールド座標系での第２ワールド座標と、前記第２所定の点の、前記第３画像で対応する第３画像座標及び前記第４画像で対応する第４画像座標を取得し、
    前記第２ワールド座標、前記第３画像座標及び前記第３内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第３姿勢を取得し、
    前記第２ワールド座標、前記第４画像座標及び前記第２内部パラメータ行列に基づいて、前記第１カメラの第２姿勢を取得し、
    前記第３姿勢及び前記第２姿勢に基づいて、前記第２相対的変換関係を取得するために用いられる、
    請求項１０に記載の画像投影装置。
  12. 前記決定モジュールは、
    前記第１カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第３カメラ座標を決定するための決定ユニットと、
    前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第３カメラ座標に基づいて、前記第２カメラ座標を決定するための処理ユニットと、を含む、
    請求項７～１１のいずれか１項に記載の画像投影装置。
  13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行できる命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～６のいずれか１項に記載の画像投影方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
    電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～６のいずれか１項に記載の画像投影方法を実行させるために用いられる、
    非一時的なコンピュータ可読記憶媒体。
  15. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の画像投影方法を実現する、
    コンピュータプログラム。
JP2021106266A 2020-12-24 2021-06-28 画像の投影方法、装置、デバイス及び記憶媒体 Active JP7222031B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011554180.X 2020-12-24
CN202011554180.XA CN112738487B (zh) 2020-12-24 2020-12-24 图像投射方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021166075A JP2021166075A (ja) 2021-10-14
JP7222031B2 true JP7222031B2 (ja) 2023-02-14

Family

ID=75615463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021106266A Active JP7222031B2 (ja) 2020-12-24 2021-06-28 画像の投影方法、装置、デバイス及び記憶媒体

Country Status (5)

Country Link
US (1) US11715238B2 (ja)
EP (1) EP3889908A3 (ja)
JP (1) JP7222031B2 (ja)
KR (1) KR102555820B1 (ja)
CN (1) CN112738487B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
CN113570671A (zh) * 2021-06-30 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 鱼眼摄像头标定方法、存储介质和电子设备
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN113409405A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 评估相机标定位置的方法、装置、设备和存储介质
CN113781575B (zh) * 2021-08-09 2024-01-12 上海奥视达智能科技有限公司 一种相机参数的标定方法、装置、终端和存储介质
CN114100160A (zh) * 2021-09-30 2022-03-01 成都博物馆 皮影戏增强展示方法、系统和可读储存介质
CN114332213B (zh) * 2022-03-17 2022-06-17 中国汽车技术研究中心有限公司 车辆视觉传感器仿真图像投射位姿确定方法和系统
CN116823590A (zh) * 2022-03-18 2023-09-29 中科寒武纪科技股份有限公司 数据获取方法、装置、设备及系统
CN114820807B (zh) * 2022-03-24 2023-01-31 合肥的卢深视科技有限公司 屏幕-相机的标定方法、系统、标定设备和存储介质
CN114862990B (zh) * 2022-04-22 2024-04-30 网易（杭州）网络有限公司 一种镜像参数获取方法、装置、电子设备及存储介质
CN115164823B (zh) * 2022-05-16 2024-04-02 上海芯翌智能科技有限公司 一种摄像机陀螺仪信息的获取方法及设备
CN114897996A (zh) * 2022-05-31 2022-08-12 上海商汤临港智能科技有限公司 一种车载相机的标定方法及装置、计算机设备、存储介质
CN115393497A (zh) * 2022-07-29 2022-11-25 中国第一汽车股份有限公司 虚拟成像方法、装置、非易失性存储介质和计算机设备
CN116051647A (zh) * 2022-08-08 2023-05-02 荣耀终端有限公司 一种相机标定方法和电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763640B (zh) * 2009-12-31 2011-10-19 无锡易斯科电子技术有限公司 车载多目摄像机环视系统的在线标定处理方法
CN102861611B (zh) * 2011-07-08 2014-11-19 中国石油天然气股份有限公司 一种有机骨架多孔固体酸的应用
CN104915327B (zh) * 2014-03-14 2019-01-29 腾讯科技（深圳）有限公司 一种文本信息的处理方法及装置
CN107228681A (zh) 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航系统
JP6870109B2 (ja) * 2017-11-14 2021-05-12 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
KR102436730B1 (ko) 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
CN108195387B (zh) * 2017-12-22 2021-06-08 联创汽车电子有限公司 Ar-hud导航系统及其gps数据校验修正方法
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
CN110322513B (zh) * 2018-03-30 2022-03-04 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
KR20200057414A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 주행 가이드 정보를 제공하는 전자 장치 및 그 방법
CN109649275B (zh) 2018-11-29 2020-03-20 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
KR20200067641A (ko) * 2018-12-04 2020-06-12 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
CN109688392B (zh) * 2018-12-26 2021-11-02 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
US20220073280A1 (en) * 2018-12-31 2022-03-10 Datalogic Usa Inc. Smart warehouse, conveyor, and pallet management system
CN109883439A (zh) * 2019-03-22 2019-06-14 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN110136519B (zh) * 2019-04-17 2022-04-01 阿波罗智联(北京)科技有限公司 基于arhud导航的模拟系统和方法
CN111405263A (zh) * 2019-12-26 2020-07-10 的卢技术有限公司 一种双摄像头结合共用于增强抬头显示的方法及系统
CN111121815B (zh) * 2019-12-27 2023-07-07 重庆利龙中宝智能技术有限公司 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质
CN111086453A (zh) * 2019-12-30 2020-05-01 深圳疆程技术有限公司 一种基于摄像头的hud增强现实显示方法、装置及汽车
CN111147834A (zh) * 2019-12-31 2020-05-12 深圳疆程技术有限公司 一种基于增强现实抬头显示的虚拟图像标定方法
CN111612852B (zh) * 2020-05-20 2023-06-09 阿波罗智联(北京)科技有限公司 用于验证相机参数的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Folker Wientapper et al.，A Camera-Based Calibration for Automotive Augmented Reality Head-Up-Displays，[online]，2013年12月23日，https://ieeexplore.ieee.org/abstract/document/6671779

Also Published As

Publication number Publication date
EP3889908A2 (en) 2021-10-06
JP2021166075A (ja) 2021-10-14
CN112738487A (zh) 2021-04-30
EP3889908A3 (en) 2022-01-19
CN112738487B (zh) 2022-10-11
US20210312665A1 (en) 2021-10-07
KR102555820B1 (ko) 2023-07-14
KR20210091070A (ko) 2021-07-21
US11715238B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
JP7222031B2 (ja) 画像の投影方法、装置、デバイス及び記憶媒体
US11645801B2 (en) Method for synthesizing figure of virtual object, electronic device, and storage medium
CN109829981B (zh) 三维场景呈现方法、装置、设备及存储介质
US20200292832A1 (en) Method and apparatus for adjusting on-vehicle projection
US11042730B2 (en) Method, apparatus and device for determining an object, and storage medium for the same
KR20220054754A (ko) 시선 추적 방법, 장치, 모델 트레이닝 방법 및 장치, 단말 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
CN111275801A (zh) 一种三维画面渲染方法及装置
WO2023056840A1 (zh) 三维物体的显示方法、装置、设备及介质
WO2020215960A1 (zh) 注视区域的确定方法、装置及可穿戴设备
WO2021227969A1 (zh) 一种数据处理方法及其设备
CN115525152A (zh) 图像处理方法及系统、装置、电子设备和存储介质
CN110631603B (zh) 车辆导航方法和装置
CN113483774A (zh) 导航方法、装置、电子设备及可读存储介质
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
KR102571066B1 (ko) 도로측 카메라의 외부 파라미터에 기반한 3차원 감지 정보 획득 방법과 도로측 기기
US11697428B2 (en) Method and apparatus for 3D modeling
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
US20240046554A1 (en) Presenting virtual representation of real space using spatial transformation
CN116129087A (zh) 定位方法、视觉地图的生成方法及其装置
CN107784693B (zh) 一种信息处理方法和装置
CN115431764B (zh) 一种ar标尺展示方法、装置、电子设备及存储介质
JP7390436B2 (ja) ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム
Zhang et al. [Poster] an accurate calibration method for optical see-through head-mounted displays based on actual eye-observation model
TWI831583B (zh) 虛擬實境設備調節方法、裝置、電子設備及儲存介質
Zhang et al. Enhancing data acquisition for calibration of optical see-through head-mounted displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230202

R150 Certificate of patent or registration of utility model

Ref document number: 7222031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150