JP5836774B2 - 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 - Google Patents
俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 Download PDFInfo
- Publication number
- JP5836774B2 JP5836774B2 JP2011259062A JP2011259062A JP5836774B2 JP 5836774 B2 JP5836774 B2 JP 5836774B2 JP 2011259062 A JP2011259062 A JP 2011259062A JP 2011259062 A JP2011259062 A JP 2011259062A JP 5836774 B2 JP5836774 B2 JP 5836774B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- overhead
- unit
- captured
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 80
- 238000003384 imaging method Methods 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 64
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 46
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 description 22
- 238000013500 data storage Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
また、特許文献3および特許文献4には、地面に描かれた白線などの平行線やこの平行線から求められる無限遠を基準として、カメラの姿勢パラメータを推定する方法が提案されている。
さらに、特許文献5には、地面に描かれた平行線の撮像画像を適当な姿勢パラメータに基づいて俯瞰変換し、その平行線の平行度を算出することで、姿勢パラメータを推定する姿勢パラメータ推定装置が提案されている。この装置では、平行線のみで姿勢パラメータを推定することが可能である。
例えば、車両に搭載されたカメラでは、乗員や荷物の積載により車両が傾くと、カメラ姿勢がずれた状態となる。この場合、乗員の数や荷物の重さなどが変われば、カメラ姿勢も変化する可能性があり、その都度カメラ姿勢を推定し直す必要がある。
また、上記従来の技術は、専用のテストパターンを用意する必要がある。したがって、テストパターンなどの保管場所とカメラ姿勢の調整を実施する場所が必要であり、テストパターンを用意するコストがかかる。このため、カメラの姿勢推定を簡易に実施することができないという課題があった。
図1は、この発明の実施の形態1に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図1において、実施の形態1に係る車両周囲表示システム1は、カメラ10、俯瞰映像生成装置20、モニタ30および操作部40を備える。
カメラ10は、車両の車体に設置されて車両周囲を撮像する撮像部である。俯瞰映像生成装置20は、カメラ10で撮像された撮像データの画像を真上から見たような俯瞰画像に変換する装置である。モニタ30は、俯瞰映像生成装置20が生成した俯瞰画像を表示する表示部である。車両の運転者は、モニタ30に表示した俯瞰画像を視認することで、車両周囲を真上から眺めたような画像で障害物などを認識できる。
操作部40は、外部からの操作入力を受け付ける操作部であって、キーボードやボタンなどのハードウェアに加えて、タッチパネルで入力を行うモニタ30の画面上に表示したソフトウェアキーやボタンであってもよい。
なお、俯瞰映像生成装置20では、地面(道路面)を基準面として俯瞰画像を生成するため、道路に描かれた横断歩道などは、歪みなどが少なく実際に車両を真上側から眺めたように精度よく表示される。
標示撮像データ取得部21は、カメラ10により撮像された撮像データの中から、所定の標示が撮像されている撮像データを取得する画像取得部である。ここで、所定の標示とは、基準面(例えば、地面)に描かれた等間隔のパターンの標示であって、例えば白線のパターンが等間隔に描かれた横断歩道やゼブラパターンなどが挙げられる。
俯瞰変換部23は、カメラ10が撮像した撮像画像を2次元の射影変換により俯瞰画像に変換するための変換パラメータである俯瞰パラメータを用いて、撮像画像を俯瞰画像に変換する。また、モニタ30は、俯瞰変換部23で生成された俯瞰画像を取得して表示する表示部である。
また、俯瞰パラメータ推定部24は、その機能ブロックとして、2値化変換部24a、間隔指標算出部24bおよび俯瞰パラメータ算出部24cを備える。
間隔指標算出部24bは、2値化変換部24aが生成した2値化画像中の所定の標示に基づいて、当該画像上で標示を構成するパターンの間隔が揃っている度合を示す間隔指標を算出する。例えば、等間隔の白線パターンの標示であれば、隣り合う白線パターンの間隔の分散が間隔指標となる。
本発明では、地面などの基準面に描かれた等間隔のパターンから構成される標示(横断歩道など)を対象としており、この標示が撮像された画像を俯瞰変換すれば、俯瞰画像においてもパターンが等間隔に表現されるべきことを前提としている。
すなわち、俯瞰パラメータが適切でない場合、これを用いて生成された俯瞰画像では、本来等しくあるべきパターンの間隔が乱れる可能性がある。
そこで、俯瞰パラメータ算出部24cは、間隔指標算出部24bが算出した間隔指標の値に基づいて、俯瞰画像中の標示のパターンが等間隔になるように俯瞰パラメータを算出する。
位置計算部6は、位置情報取得部5から取得した位置情報に基づいて自車両の現在位置を算出する。
なお、図2では図示を省略したが、標示撮像データ取得部21は、図1と同様に、操作部40を用いてユーザが指定したタイミングでカメラ10に撮像された撮像データを取得して撮像データ記憶部22に記憶するようにしてもよい。
図3は、標示撮像データ取得部の構成例を示すブロック図である。図3(a)に示した標示撮像データ取得部21は、自車の車両制御部7から取得した車両データに基づいて、カメラ10の撮像データを取得すべきか否かを判断している。
すなわち、操作部40を用いてユーザが指定したタイミング、あるいは自車位置と地図データに基づく位置タイミングで、カメラ10により撮像された撮像データを取り込むにあたり、車両制御部7から取得した車両データに基づいて、撮像データの取り込み可否を判断する。
このように、車両データを利用することにより、所定の標示が撮像された撮像データの取得精度を向上できる。
なお、画像認識部21aが画像認識処理を行うタイミングは、操作部40を用いたユーザ指定タイミングや、自車位置と地図データに基づく位置タイミングであってもよい。
このように構成することにより、所定の標示が撮像された撮像データの取得精度をさらに向上できる。
図4は、実施の形態1に係る俯瞰映像生成装置の動作を示すフローチャートである。
通常時の俯瞰映像生成装置20では、俯瞰変換部23が、カメラ10からの撮像データを取得して俯瞰画像を生成し、モニタ30に出力している。このとき、標示撮像データ取得部21がステップST1からステップST3までの処理を実施し、俯瞰パラメータ推定部24が俯瞰パラメータを推定する場合に、ステップST4からステップST12までの処理を行う。
また、取り込み条件に合致しなければ(ステップST2;NO)、標示撮像データ取得部21は、カメラ10から取得した撮像データを、撮像データ記憶部22に保存しないで破棄する。この後、ステップST4の処理へ移行する。
上記式(1)の俯瞰パラメータA〜Hは画像平面内の4頂点の座標から決定される定数である。入力画像の4頂点、a(x1,y1),b(x2,y2),c(x3,y3),d(x4,y4)と対応する出力画像(俯瞰画像)の4頂点をe(X1,Y1),f(X2,Y2),g(X3,Y3),h(X4,Y4)とすると、俯瞰パラメータA〜Hは、下記式(2)の行列から導くことができる。
図5は、実施の形態1に係る俯瞰変換を示す図であり、自車が交差点を走行したときにサイドカメラで横断歩道を撮影した画像を上記射影変換で俯瞰画像に変換した場合を示している。図5の上段に記載した入力画像の4頂点の座標をa(0,0),b(1,0),c(1,1),d(0,1)として、入力画像の4頂点にそれぞれ対応する頂点の座標に対し上記式(2)の射影変換を施すと、出力画像(俯瞰画像)の4頂点の座標は、下段に示すように、e(−0.5,0),f(1.5,0),g(1,1),h(0,1)となる。
2値化変換部24aは、俯瞰変換部23が変換した各俯瞰画像を2値化変換する。これにより、図6の(a)、(c)、(e)、(g)に示す画像が得られる。なお、2値化変換には、例えばトップハットフィルタと組み合わせた単純2値化を用いる。
なお、画像上端と画像下端の幅については、正確に幅が得られないため考慮しない。
次に、間隔指標算出部24bは、白線の幅の分散と白線でない部分の幅の分散の平均値を算出して間隔指標値とする。この場合、間隔指標値が低いほど、すなわち、全ての幅が同じ幅に近づくほど、等間隔であることを示している。
このように、従来のカメラ姿勢パラメータによる視点変換ではなく、射影変換を用いるために俯瞰変換を簡易な演算で実施できる。さらに等間隔のパターンの標示が撮像された俯瞰画像から標示のパターンの間隔指標値を算出して、これに基づいて俯瞰パラメータを簡易に調整できる。
そこで、本発明では、俯瞰画像に撮像されている等間隔のパターンの間隔指標値を算出し、これに基づきパターンの間隔が揃うように俯瞰パラメータを調整することで、適正な俯瞰パラメータを簡易に調整することができる。
また、俯瞰画像から俯瞰パラメータを求めるので、あらかじめテストパターン等を用意する必要がなく、かつ無限遠を求める必要がないため、適正な俯瞰パラメータを推定する困難さを軽減できる。さらに、車両左右のカメラであっても、俯瞰パラメータを推定することができる。
このように構成することにより、撮像画像を撮像データ記憶部22に一時的に記憶することが可能であり、処理負荷が少ない合間を選んで俯瞰パラメータの推定処理を行うことができる。
例えば、カメラ10の撮像上の誤差を考慮して、俯瞰画像上で標示のパターンの間隔が所定の誤差範囲内で揃う、すなわち間隔指標値が所定の閾値よりも高い範囲(幅の分散の平均値が所定の閾値よりも低い範囲)である場合は、俯瞰パラメータの精度が高いと判断してもよい。
さらに、俯瞰パラメータ記憶部25に俯瞰パラメータを上書きするのではなく、事前に算出していた俯瞰パラメータを加味して更新してもよい。
図7は、この発明の実施の形態2に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、図1と同様に、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図7において、実施の形態2に係る車両周囲表示システム1Aは、カメラ10、俯瞰映像生成装置20Aおよびモニタ30を備える。
俯瞰映像生成装置20Aは、図7に示すように、標示撮像データ取得部21、撮像データ記憶部22、俯瞰変換部23、俯瞰パラメータ推定部24Aおよび俯瞰パラメータ記憶部25を備える。
なお、2値化によりエッジ抽出処理や間隔指標値の算出処理の演算量が低減されるが、元の俯瞰画像からエッジ抽出処理によって所定の標示が特定可能であれば、2値化変換を省略、すなわち2値化変換部24aを省略してもよい。
図9は、実施の形態2に係る俯瞰映像生成装置の動作を示すフローチャートである。図9において、標示撮像データ取得部21が実施するステップST1からステップST3までの処理、俯瞰パラメータ推定部24が実施するステップST4からステップST5までの処理、ステップST8からステップST12までの処理は、図4と同様である。
したがって、実施の形態1と異なる処理であるステップST6−1およびステップST7aの処理について説明する。
次に、間隔指標算出部24bは、エッジ抽出処理部24dにより抽出されたエッジを、俯瞰画像上の線として標示の間隔指標値を算出する(ステップST7a)。
各直線と原点との距離はρで表されるので、距離ρを用いて各直線の幅を算出できる。間隔指標算出部24bは、各直線の幅を上記実施の形態1と同様に処理して、幅の分散の平均値を間隔指標値として算出する。俯瞰パラメータ算出部24cは、この間隔指標値を用いて、上記実施の形態1と同様に、適正化した俯瞰パラメータを算出する。
Claims (12)
- 画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部と、
前記パラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換部と、
前記俯瞰変換部によって等間隔のパターンの標示が撮像された撮像画像が変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出部と、
前記間隔指標算出部によって算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出部とを備える俯瞰映像生成装置。 - 前記等間隔のパターンの標示が撮像された撮像画像を取得する画像取得部と、
前記画像取得部により取得された撮像画像を記憶する画像記憶部とを備え、
前記俯瞰変換部は、前記画像記憶部から読み出した撮像画像を俯瞰画像に変換し、
前記間隔指標算出部は、前記俯瞰変換部によって変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出することを特徴とする請求項1記載の俯瞰映像生成装置。 - 前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像を2値化変換する2値化変換部を備え、
前記間隔指標算出部は、前記2値化変換部が2値化した前記標示のパターンを用いて、前記間隔指標値を算出することを特徴とする請求項1または請求項2記載の俯瞰映像生成装置。 - 前記間隔指標算出部は、2値化変換された前記標示のパターンの画素数のヒストグラムを作成し、このヒストグラムに基づいて判別した前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項3記載の俯瞰映像生成装置。
- 前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像上のエッジを抽出するエッジ抽出処理部を備え、
前記間隔指標算出部は、前記エッジ抽出処理部が抽出した前記標示のエッジを用いて、前記間隔指標値を算出することを特徴とする請求項1または請求項2記載の俯瞰映像生成装置。 - 前記間隔指標算出部は、前記エッジ抽出処理部により抽出された前記標示のパターンのエッジと前記俯瞰画像上の原点との距離に基づいて、前記パターンの幅と隣り合うパターンの間隔を求め、前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項5記載の俯瞰映像生成装置。
- 前記画像取得部は、前記撮像部により撮像された撮像画像に対して画像認識を行って、等間隔のパターンの標示が撮像された撮像画像を取得することを特徴とする請求項2記載の俯瞰映像生成装置。
- 外部からの操作を受け付ける操作部を備え、
前記画像取得部は、前記操作部を用いて指定されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項2記載の俯瞰映像生成装置。 - 前記撮像部は、移動体に搭載されてその周囲を撮像し、
前記画像取得部は、現在位置と地図データに基づいて、等間隔のパターンの標示が存在する地点に前記移動体が到達したと判別されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項2記載の俯瞰映像生成装置。 - 俯瞰変換部が、画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換ステップと、
間隔指標算出部が、前記俯瞰変換ステップで等間隔のパターンの標示が撮像された撮像画像を変換した俯瞰画像を入力し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出ステップと、
パラメータ算出部が、前記間隔指標算出ステップで算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出ステップとを備える俯瞰映像生成方法。 - 移動体の周囲の俯瞰画像を表示する映像表示システムにおいて、
前記移動体の周囲を撮像する撮像部と、
請求項1から請求項9のうちのいずれか1項記載の俯瞰映像生成装置と、
前記俯瞰映像生成装置で生成された俯瞰画像を表示する表示部とを備えることを特徴とする映像表示システム。 - 請求項1から請求項9のうちのいずれか1項記載の俯瞰映像生成装置を備えたナビゲーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011259062A JP5836774B2 (ja) | 2011-11-28 | 2011-11-28 | 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011259062A JP5836774B2 (ja) | 2011-11-28 | 2011-11-28 | 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013115559A JP2013115559A (ja) | 2013-06-10 |
JP5836774B2 true JP5836774B2 (ja) | 2015-12-24 |
Family
ID=48710739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011259062A Active JP5836774B2 (ja) | 2011-11-28 | 2011-11-28 | 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5836774B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6560355B2 (ja) * | 2015-08-28 | 2019-08-14 | 株式会社日立製作所 | ランドマーク認識装置及び認識方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3756452B2 (ja) * | 2002-01-18 | 2006-03-15 | 本田技研工業株式会社 | 赤外線画像処理装置 |
JP5022609B2 (ja) * | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
JP2007257242A (ja) * | 2006-03-23 | 2007-10-04 | Niles Co Ltd | 白線認識装置 |
JP4820221B2 (ja) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | 車載カメラのキャリブレーション装置およびプログラム |
JP4832321B2 (ja) * | 2007-01-26 | 2011-12-07 | 三洋電機株式会社 | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 |
JP5035371B2 (ja) * | 2010-03-15 | 2012-09-26 | アイシン精機株式会社 | 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム |
-
2011
- 2011-11-28 JP JP2011259062A patent/JP5836774B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013115559A (ja) | 2013-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US9443313B2 (en) | Stereo camera apparatus | |
WO2018225446A1 (ja) | 地図変化点検出装置 | |
JP5962771B2 (ja) | 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法 | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
JP6368651B2 (ja) | 走行環境認識システム | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
US9122936B2 (en) | Detecting device, detection method, and computer program product | |
EP3557527A1 (en) | Object detection device | |
JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
JP5278108B2 (ja) | 移動体検出システム及び移動体検出方法 | |
JP6956051B2 (ja) | 画像処理装置、運転支援システム、画像処理方法及びプログラム | |
JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
WO2019156072A1 (ja) | 姿勢推定装置 | |
CN111164648A (zh) | 移动体的位置推断装置及位置推断方法 | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
KR20130015984A (ko) | 차선 인식 장치 및 그 방법 | |
JP2008033781A (ja) | 路面勾配検出装置及び画像表示装置 | |
JP5836774B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 | |
JP2016009331A (ja) | 車両周辺監視装置 | |
JP5903901B2 (ja) | 車両位置算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5836774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |