JP7167760B2 - 画像調整システム - Google Patents

画像調整システム Download PDF

Info

Publication number
JP7167760B2
JP7167760B2 JP2019025464A JP2019025464A JP7167760B2 JP 7167760 B2 JP7167760 B2 JP 7167760B2 JP 2019025464 A JP2019025464 A JP 2019025464A JP 2019025464 A JP2019025464 A JP 2019025464A JP 7167760 B2 JP7167760 B2 JP 7167760B2
Authority
JP
Japan
Prior art keywords
image
user
spherical
display device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019025464A
Other languages
English (en)
Other versions
JP2020134620A (ja
Inventor
崇 日昔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019025464A priority Critical patent/JP7167760B2/ja
Priority to PCT/JP2020/005239 priority patent/WO2020166582A1/ja
Publication of JP2020134620A publication Critical patent/JP2020134620A/ja
Priority to US17/363,614 priority patent/US11703948B2/en
Application granted granted Critical
Publication of JP7167760B2 publication Critical patent/JP7167760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像調整システムに関する。
近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚(没入感)を得ることができる。特許文献1に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。
360度の範囲を撮影できる全方位カメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者は使用者の周囲である360度の範囲を見ているような感覚を得ることができる。全方位カメラとして、右目用画像と左目用画像とを撮影できるステレオカメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者はヘッドマウントディスプレイに表示された画像を立体的に見ることができる。
特開2005-56295号公報
手振れ補正機能により、カメラが撮影する画像の振れを低減させることができ、かつ、カメラの向きが変更されても画像は一定の状態を維持することができる。しかし、全方位カメラにより撮影され、手振れ補正された画像を使用者が見ている状態において、全方位カメラの進行方向が変更された場合、使用者は、ヘッドマウントディスプレイに表示されている画像が変化する方向を認識してから使用者が向いている方向を変更する。そのため、使用者は、カメラが進行方向を変更してから、かなり遅れて向いている方向を変更することになる。
本発明は、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる画像調整システムを提供することを目的とする。
本発明は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部とを有する画像調整システムを提供する。
上記の画像調整システムにおいて、前記カメラは360度の範囲を撮影する全方位カメラであり、前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である。
本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる。
第1実施形態の画像調整システムを示す構成図である。 球面状画像と使用者との関係を示す図である。 第1実施形態の画像調整方法の一例を示すフローチャートである。 第2実施形態の画像調整方法の一例を示すフローチャートである。 第2実施形態の画像調整方法の一例を示すフローチャートである。 第2実施形態の画像調整方法の一例を示すフローチャートである。
[第1実施形態]
図1を用いて、第1実施形態の画像調整システムの構成例を説明する。画像調整システム101は、カメラ102と、姿勢制御装置120と、通信部103と、画像表示装置104と、コントローラ105と、画像調整装置110と、サーバ106とを備える。画像調整装置110は、画像処理部111と、画像生成部112と、通信部113とを有する。
カメラ102は、360度の範囲を撮影できる全方位カメラ(360度カメラ)である。カメラ102は、右目用画像と左目用画像とを撮影できるステレオカメラにより構成された全方位カメラであってもよい。通信部103と通信部113とはネットワークを介して接続されている。
画像調整装置110は、カメラ102が360度の範囲を撮影した撮影画像IM1を、通信部103及び113とネットワークとを介して取得することができる。カメラ102がステレオカメラにより構成された全方位カメラである場合、画像調整装置110は、カメラ102が360度の範囲を撮影した右目用画像IMR1及び左目用画像IML1を撮影画像IM1として、通信部103及び113とネットワークとを介して取得することができる。
画像調整装置110としてコンピュータ機器を用いてもよい。画像処理部111及び画像生成部112としてCPUを用いてもよい。画像生成部112及び通信部113は、画像調整装置110の外部に設けられていてもよい。
サーバ106は、ネットワークと通信部103とを介してカメラ102と接続し、ネットワークと通信部113とを介して画像調整装置110と接続する。サーバ106がカメラ102から撮影画像IM1を通信部103及びネットワークを介して取得し、画像調整装置110がサーバ106から撮影画像IM1をネットワーク及び通信部113を介して取得してもよい。
画像調整装置110が取得した撮影画像IM1は、画像処理部111へ入力される。画像調整装置110(具体的には画像処理部111)は、手振れ補正機能を有する。画像調整装置110は、撮影画像IM1の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像IM1を画像表示装置104へ出力する。画像表示装置104は、例えばヘッドマウントディスプレイである。コントローラ105は、例えばVR等に用いられるグローブ型コントローラである。
姿勢制御装置120は、カメラ102の姿勢を制御する。姿勢制御装置120は、カメラ102が向いている方向、及びカメラ102が向きを変更したときの方向とその角度を示すカメラ姿勢情報CP1を生成してもよい。画像処理部111は、通信部113及び103とネットワークとを介して、姿勢制御装置120からカメラ姿勢情報CP1を取得することができる。サーバ106が姿勢制御装置120からカメラ姿勢情報CP1を取得し、画像処理部111がサーバ106からカメラ姿勢情報CP1を取得してもよい。
図2は、画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている状態を模式的に示している。図2に示す符号ZEは天頂を示している。カメラ102の天頂と使用者USの天頂とは一致していることが望ましい。使用者USは、その頭部に画像表示装置104を装着することにより、画像調整装置110によって画像処理された撮影画像IM1を見ることができる。
カメラ102がステレオカメラにより構成された全方位カメラである場合、画像表示装置104が使用者USの頭部に装着されている状態で、画像調整装置110が使用者USの右目に対応する領域に右目用画像IMR1を表示し、使用者USの左目に対応する領域に左目用画像IML1を表示することにより、使用者USは、撮影画像IM1を立体画像として見ることができる。
サーバ106がカメラ102から取得した撮影画像IM1の歪みを補正し、撮影画像IM1の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM1を画像調整装置110へ出力してもよい。使用者USは、その頭部に画像表示装置104を装着することにより、画像調整装置110またはサーバ106によって画像処理された撮影画像IM1を見ることができる。
画像表示装置104は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて使用者姿勢情報PN1を生成する。画像処理部111は、画像表示装置104から使用者姿勢情報PN1を取得する。即ち、画像処理部111は、画像表示装置104の姿勢に基づいて使用者姿勢情報PN1を取得することになる。画像処理部111は、使用者姿勢情報PN1に基づいて、撮影画像IM1から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置104に表示する。
コントローラ105は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢、または、使用者USの指の動きまたは姿勢等の状態に基づいて指示情報NN1を生成する。以下、手または指を、単に手と略記する。画像処理部111は、コントローラ105から指示情報NN1を取得する。画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている撮影画像IM1を変化させたり調整したりすることができる。
画像生成部112は、CG(Computer Graphics)である球面により構成された仮想画像である球面状画像VSS1を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部111は、指示情報NN1に基づいて、画像生成部112から球面状画像VSS1を取得し、画像表示装置104に表示する。
図2は、画像表示装置104が使用者USの頭部に装着された状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときの使用者USのイメージを模式的に示している。
画像表示装置104が使用者USの頭部に装着されている状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときに、球面状画像VSS1は、使用者US及び画像表示装置104の周囲に配置され、かつ、使用者USの手が球面状画像VSS1に届く範囲に表示されるように設定されている。使用者USは、コントローラ105が装着されている手を、画像表示装置104に表示されている球面状画像VSS1に対応する位置に移動させることにより、使用者USの手が球面状画像VSS1に接触しているように感じる。
コントローラ105は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部111は、指示情報NN1に基づいて、使用者USの手が球面状画像VSS1に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS1に接触する感覚を実感として得ることができる。
球面状画像VSS1が画像表示装置104に表示されている状態において、使用者USが、コントローラ105が装着されている手を任意の方向へ移動させた場合、画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている球面状画像VSS1と撮影画像IM1とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS1を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS1を回転させることができる。画像処理部111は、球面状画像VSS1の回転に対応させて撮影画像IM1を移動させる。使用者USは、球面状画像VSS1を回転させることにより、画像表示装置104に表示されている撮影画像IM1を水平にすることができる。
画像表示装置104に右目用画像IMR1及び左目用画像IML1が表示されている場合、使用者USは、球面状画像VSS1を例えば上方向または下方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との上下方向(垂直方向)のずれを補正することができる。使用者USは、球面状画像VSS1を例えば右方向または左方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との視差を補正することができる。使用者USは、球面状画像VSS1を任意の方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との傾きのずれを補正することができる。
画像処理部111は、使用者USが球面状画像VSS1を回転させる前の天頂ZEが、使用者USが球面状画像VSS1を回転させることによって球面状画像VSS1の座標上のどの位置へ移動したかを判定することができる。画像処理部111は、球面状画像VSS1の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS1を回転させる前と回転させた後との球面状画像VSS1の変化量を算出する。
球面状画像VSS1の変化量とは、球面状画像VSS1において、X軸を回転軸とした回転量(回転角度)と、Y軸を回転軸とした回転量(回転角度)と、Z軸を回転軸とした回転量(回転角度)とが合成された球面状画像VSS1の回転量(回転角度)に相当する。画像処理部111は、球面状画像VSS1の変化量を補正値CV1として保存する。即ち、補正値CV1は、球面状画像VSS1の回転方向と、天頂ZEの移動量または移動角度(球面状画像VSS1の回転角度)に基づいて算出されることになる。
画像処理部111は、使用者USが球面状画像VSS1を回転させた後の天頂ZEの球面状画像VSS1上の座標を補正値CV1として保存してもよい。画像処理部111は、補正値CV1を内蔵メモリまたは外部のメモリに保存する。画像処理部111が補正値CV1を通信部113及びネットワークを介してサーバ106へ出力し、サーバ106が補正値CV1を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部111は、サーバ106に保存されている補正値CV1をネットワーク及び通信部113を介して取得することができる。
図3に示すフローチャートを用いて、第1実施形態の画像調整方法の一例を説明する。具体的には、カメラ102の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させるため方法の一例について説明する。画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている。画像表示装置104には撮影画像IM1と球面状画像VSS1とが表示されている。
使用者USが球面状画像VSS1を回転させることにより、コントローラ105は、ステップS101にて、操作内容に対応する指示情報NN1を生成し、画像処理部111へ出力する。画像処理部111は、ステップS102にて、指示情報NN1に基づいて、球面状画像VSS1の回転に対応させて、画像表示装置104に表示されている撮影画像IM1を移動させる。画像処理部111またはサーバ106に補正値CV1が保存されている場合、画像処理部111は、ステップS102にて、補正値CV1に基づいて、画像表示装置104に表示されている撮影画像IM1を移動させてもよい。
これにより、画像調整装置110は、撮影画像IM1が水平になるように撮影画像IM1を調整することができる。撮影画像IM1が水平になるように、姿勢制御装置120がカメラ102の姿勢を制御してもよい。
画像表示装置104に右目用画像IMR1及び左目用画像IML1が表示されている場合、使用者USが球面状画像VSS1を回転させることにより、画像調整装置110は、右目用画像IMR1と左目用画像IML1との上下方向のずれ、右目用画像IMR1と左目用画像IML1との視差、及び、右目用画像IMR1と左目用画像IML1との傾きのずれの少なくともいずれかを補正する。姿勢制御装置120がカメラ102の姿勢を制御することにより、右目用画像IMR1と左目用画像IML1との上下方向のずれを補正してもよい。
画像処理部111またはサーバ106に補正値CV1が保存されている場合、画像処理部111は、補正値CV1に基づいて、画像表示装置104に表示されている撮影画像IM1における右目用画像IMR1または左目用画像IML1を移動させてもよい。これにより、画像調整装置110は、右目用画像IMR1と左目用画像IML1とのずれ、または視差が補正されるように撮影画像IM1を調整することができる。
撮影画像IM1が水平になるように調整されている状態、または、右目用画像IMR1と左目用画像IML1とのずれ、または視差が補正されている状態において、画像処理部111は、ステップS103にて、撮影画像IM1を手振れ補正する。
画像調整装置110(具体的には画像処理部111)は、撮影画像IM1が変更される方向とその角度を常に監視している。画像調整装置110は、カメラ102が撮影した撮影画像IM1から撮影画像IM1の方向とその角度を検出してもよいし、姿勢制御装置120から取得したカメラ姿勢情報CP1に基づいて、撮影画像IM1の方向とその角度を検出してもよい。
画像処理部111は、ステップS104にて、撮影画像IM1が変更される角度θaが所定の角度α以上か否かを判定する。言い換えれば、撮影画像IM1が所定の角度α以上に変更されたか否かを判定する。所定の角度αは例えば60度である。
角度θaが所定の角度α以上である(θa≧α)と判定された場合(YES)、即ち、撮影画像IM1が所定の角度α以上に変更されたと判定された場合、画像処理部111は、ステップS105にて、カメラ102の進行方向が変更されたと判定し、変更された方向を検出する。
角度θaが所定の角度α以上ではない(θa<α)と判定された場合(NO)、即ち、撮影画像IM1が所定の角度α以上に変更されていないと判定された場合、画像処理部111は、カメラ102の進行方向が変更されていないと判定し、処理をステップS104へ戻す。
画像処理部111は、ステップS106にて、使用者姿勢情報PN1に基づいて、使用者USが向いている方向を検出する。画像生成部112は矢印画像ARを生成する。矢印画像ARは、カメラ102の進行方向が変更された方向を示す画像(CG)である。画像生成部112は例えば右方向を示す右矢印画像ARRと、左方向を示す左矢印画像ARLとを生成する。画像処理部111は、ステップS107にて、画像生成部112から矢印画像ARを取得し、画像表示装置104に表示する。画像表示装置104には、撮影画像IM1と矢印画像ARとが混合して表示される。
画像処理部111は、使用者USが向いている方向に対してカメラ102の進行方向が右方向へ変更されたと判定した場合、画像生成部112から右矢印画像ARRを取得し、画像表示装置104に表示する。画像処理部111は、使用者USが向いている方向に対してカメラ102の進行方向が左方向へ変更されたと判定した場合、画像生成部112から左矢印画像ARLを取得し、画像表示装置104に表示する。
画像処理部111は、ステップS108にて、使用者USが向いている方向に対して、画像表示装置104に表示されている撮影画像IM1を、カメラ102の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させてもよい。
第1実施形態の画像調整システム101、画像調整装置110、及び画像調整方法では、撮影画像IM1が手振れ補正されている状態において、カメラ102の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合に、カメラ102の進行方向が変更された方向を示す画像(例えば矢印画像AR)を表示する。これにより、カメラ102の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させることができる。
第1実施形態の画像調整システム101、画像調整装置110、及び画像調整方法では、撮影画像IM1が手振れ補正されている状態において、カメラ102の進行方向が変更されたと判定された場合に、画像表示装置104に表示されている撮影画像IM1を、カメラ102の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置104に表示されている画像を、カメラ102の進行方向が変更された方向に対応させて速やかに変更させることができる。
[第2実施形態]
図1を用いて、第2実施形態の画像調整システムの構成例を説明する。画像調整システム201は、カメラ202と、姿勢制御装置220と、通信部203と、画像表示装置204と、コントローラ205と、画像調整装置210と、サーバ206とを備える。画像調整装置210は、画像処理部211と、画像生成部212と、通信部213とを有する。
カメラ202、姿勢制御装置220、通信部203、画像表示装置204、コントローラ205、画像調整装置210、及びサーバ206は、それぞれ、第1実施形態の姿勢制御装置120、通信部103、画像表示装置104、コントローラ105、画像調整装置110、及びサーバ106に対応する。画像処理部211、画像生成部212、及び通信部213は、それぞれ、第1実施形態の画像処理部111、画像生成部112、及び通信部113に対応する。
画像調整装置210は、カメラ202が360度の範囲を撮影した撮影画像IM2を、通信部203及び213とネットワークとを介して取得することができる。カメラ202がステレオカメラにより構成された全方位カメラである場合、画像調整装置210は、カメラ202が360度の範囲を撮影した右目用画像IMR2及び左目用画像IML2を撮影画像IM2として、通信部203及び213とネットワークとを介して取得することができる。
画像調整装置210が取得した撮影画像IM2は、画像処理部211へ入力される。画像調整装置210(具体的には画像処理部211)は、手振れ補正機能を有する。画像調整装置210は、撮影画像IM2の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像IM2を画像表示装置204へ出力する。
姿勢制御装置220は、カメラ202の姿勢を制御する。姿勢制御装置220は、カメラ202が向いている方向、及びカメラ202が向きを変更したときの方向とその角度を示すカメラ姿勢情報CP2を生成してもよい。画像処理部211は、通信部213及び203とネットワークとを介して、姿勢制御装置220からカメラ姿勢情報CP2を取得することができる。サーバ206が姿勢制御装置220からカメラ姿勢情報CP2を取得し、画像処理部211がサーバ206からカメラ姿勢情報CP2を取得してもよい。
サーバ206がカメラ202から取得した撮影画像IM2の歪みを補正し、撮影画像IM2の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM2を画像調整装置210へ出力してもよい。使用者USは、その頭部に画像表示装置204を装着することにより、画像調整装置210またはサーバ206によって画像処理された撮影画像IM1を見ることができる。
画像表示装置204は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて使用者姿勢情報PN2を生成する。画像処理部211は、画像表示装置204から使用者姿勢情報PN2を取得する。即ち、画像処理部211は、画像表示装置204の姿勢に基づいて使用者姿勢情報PN2を取得することになる。画像処理部211は、使用者姿勢情報PN2に基づいて、撮影画像IM2から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置204に表示する。
コントローラ205は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢等の状態に基づいて指示情報NN2を生成する。画像処理部211は、コントローラ205から指示情報NN2を取得する。画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている撮影画像IM2を変化させたり調整したりすることができる。
画像生成部212は、CGである球面により構成された仮想画像である球面状画像VSS2を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部211は、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。
図2は、画像表示装置204が使用者USの頭部に装着された状態において、使用者USが画像表示装置204に表示されている球面状画像VSS2を見たときの使用者USのイメージを模式的に示している。
画像表示装置204が使用者USの頭部に装着されている状態において、使用者USが画像表示装置204に表示されている球面状画像VSS2を見たときに、球面状画像VSS2は、使用者US及び画像表示装置204の周囲に配置され、かつ、使用者USの手が球面状画像VSS2に届く範囲に表示されるように設定されている。使用者USは、コントローラ205が装着されている手を、画像表示装置204に表示されている球面状画像VSS2に対応する位置に移動させることにより、使用者USの手が球面状画像VSS2に接触しているように感じる。
コントローラ205は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部211は、指示情報NN2に基づいて、使用者USの手が球面状画像VSS2に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS2に接触する感覚を実感として得ることができる。
球面状画像VSS2が画像表示装置204に表示されている状態において、使用者USが、コントローラ205が装着されている手を任意の方向へ移動させた場合、画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている球面状画像VSS2と撮影画像IM2とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS2を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS2を回転させることができる。画像処理部211は、球面状画像VSS2の回転に対応させて撮影画像IM2を移動させる。使用者USは、球面状画像VSS2を回転させることにより、画像表示装置204に表示されている撮影画像IM2を水平にすることができる。
画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、使用者USは、球面状画像VSS2を例えば上方向または下方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正することができる。使用者USは、球面状画像VSS2を例えば右方向または左方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との視差を補正することができる。使用者USは、球面状画像VSS2を任意の方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との傾きのずれを補正することができる。
画像処理部211は、使用者USが球面状画像VSS2を回転させる前の天頂ZEが、使用者USが球面状画像VSS2を回転させることによって球面状画像VSS2の座標上のどの位置へ移動したかを判定することができる。画像処理部211は、球面状画像VSS2の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS2を回転させる前と回転させた後との球面状画像VSS2の変化量を算出する。
球面状画像VSS2の変化量は、第1実施形態の球面状画像VSS1の変化量に相当する。画像処理部211は、球面状画像VSS2の変化量を補正値CV2として保存する。補正値CV2は第1実施形態の補正値CV1に相当する。
画像処理部211は、使用者USが球面状画像VSS2を回転させた後の天頂ZEの球面状画像VSS2上の座標を補正値CV2として保存してもよい。画像処理部211は、補正値CV2を内蔵メモリまたは外部のメモリに保存する。画像処理部211が補正値CV2を通信部213及びネットワークを介してサーバ206へ出力し、サーバ206が補正値CV2を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部211は、サーバ206に保存されている補正値CV2をネットワーク及び通信部213を介して取得することができる。
図4A~図4Cに示すフローチャートを用いて、第2実施形態の画像調整方法の一例を説明する。具体的には、撮影画像IM2が手振れ補正されている状態が維持できなくなったときの対処方法の一例について説明する。画像表示装置204が使用者USの頭部に装着され、コントローラ205が使用者USの手に装着されている。画像表示装置204には撮影画像IM2と球面状画像VSS2とが表示されている。
図4Aにおいて、使用者USが球面状画像VSS2を回転させることにより、コントローラ205は、ステップS201にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS202にて、指示情報NN2に基づいて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている撮影画像IM2を移動させる。画像処理部211またはサーバ206に補正値CV2が保存されている場合、画像処理部211は、ステップS202にて、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2を移動させてもよい。
これにより、画像調整装置210は、撮影画像IM2が水平になるように撮影画像IM2を調整することができる。撮影画像IM2が水平になるように、姿勢制御装置220がカメラ202の姿勢を制御してもよい。
画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、使用者USが球面状画像VSS2を回転させることにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2との上下方向のずれ、右目用画像IMR2と左目用画像IML2との視差、及び、右目用画像IMR2と左目用画像IML2との傾きのずれの少なくともいずれかを補正する。姿勢制御装置220がカメラ202の姿勢を制御することにより、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正してもよい。
画像処理部211またはサーバ206に補正値CV2が保存されている場合、画像処理部211は、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2における右目用画像IMR2または左目用画像IML2を移動させてもよい。これにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されるように撮影画像IM2を調整することができる。
撮影画像IM2が水平になるように調整されている状態、または、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されている状態において、画像処理部211は、ステップS203にて、撮影画像IM2を手振れ補正する。画像調整装置210(具体的には画像処理部211)は、撮影画像IM2が変更される方向とその角度を常に監視している。画像処理部211は、ステップS104~S108と同様の処理を実行する。
カメラ202が倒れたり、激しく動いたりすると、手振れ補正が追従できなくなる場合がある。画像調整装置210(具体的には画像処理部211)は、撮影画像IM2に対して手振れ補正が追従できているか否かを常に監視している。画像処理部211は、ステップS204にて、手振れ補正が追従できているか否か、即ち手振れ補正の設定時の条件が維持されているか否かを判定する。手振れ補正が追従できている(YES)と判定された場合、画像調整装置210は処理をステップS204へ戻す。
手振れ補正が追従できていない(NO)と判定された場合、画像調整装置210は、撮影画像IM2(右目用画像IMR2または左目用画像IML2)を調整するか否か、またはどのように調整するかを使用者USに確認する。
具体的には、画像処理部211は、ステップS205にて、画像表示装置204に、撮影画像IM2を手動で調整するか自動で調整するかを設定するための設定画面を表示させる。画像処理部211は、手振れ補正の設定時の条件が維持されていないことを画像表示装置204に表示させてもよい。
画像処理部211は、画像表示装置204に、撮影画像IM2を手動で調整するか自動で調整するか、または調整しないかを設定するための設定画面を表示させてもよい。使用者USが調整しない項目を選択すると、コントローラ205は、操作内容に対応する指示情報NN2を生成して画像処理部211へ出力し、画像処理部211は、処理をステップS203へ戻す。
ステップS205で使用者USが撮影画像IM2を手動で調整する項目を選択すると、図4Bにおいて、コントローラ205は、ステップS211にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS212にて、指示情報NN2に基づいて、処理を手動調整モードへ移行させ、画像表示装置204に、調整項目を選択するための設定画面を表示させる。
使用者USがコントローラ205を操作して、設定画面に表示されている所定の調整項目(例えば水平調整の項目)を選択すると、コントローラ205は、ステップS213にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、選択された項目に対応する処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部211は、撮影画像IM2の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
画像処理部211は、ステップS214にて、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。画像表示装置204には、撮影画像IM2と球面状画像VSS2とが混合して表示される。使用者USは、撮影画像IM2が水平となるように球面状画像VSS2を回転させる。画像処理部211は、ステップS215にて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている撮影画像IM2を移動させる。使用者USは撮影画像IM2が水平になるまで球面状画像VSS2を回転させる動作を複数回行ってもよい。
ステップS205で使用者USが撮影画像IM2を自動で調整する項目を選択すると、図4Cにおいて、コントローラ205は、ステップS221にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS222にて、指示情報NN2に基づいて、処理を自動調整モードへ移行させ、画像処理部211またはサーバ206に保存されている補正値CV2を取得する。
画像処理部211は、ステップS223にて、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2を移動させる。例えば、画像処理部211は、補正値CV2に基づいて、撮影画像IM2が水平になるように撮影画像IM2を移動させる。これにより、画像調整装置210は、撮影画像IM2が水平になるように撮影画像IM2を調整することができる。
ステップS205で使用者USが撮影画像IM2を手動で調整する項目を選択し、かつ、画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、画像処理部211は、ステップS212にて、調整項目を選択するための設定画面を表示させる。設定画面には、例えば、右目用画像IMR2と左目用画像IML2との上下方向(垂直方向)のずれを補正するための上下補正の項目、右目用画像IMR2と左目用画像IML2との視差を補正するための視差補正の項目、及び、右目用画像IMR2と左目用画像IML2との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。
使用者USが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ205は、ステップS213にて、選択された項目を含む指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、選択された項目に対応する処理モードへ処理を移行させる。
ステップS212において上下補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正するための処理モード(上下補正モード)へ処理を移行させる。ステップS212において視差補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との視差を補正するための処理モード(視差補正モード)へ処理を移行させる。ステップS212において傾き補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との傾きのずれを補正するための処理モード(傾き補正モード)へ処理を移行させる。
画像処理部211は、補正する画像が右目用画像IMR2か左目用画像IML2かを選択するための項目を画像表示装置204に表示させる。使用者USが右目用画像IMR2を選択した場合、コントローラ205は、右目用画像IMR2が選択されたことを示す指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、右目用画像IMR2を補正するための処理モード(右目用補正モード)へ処理を移行させる。
使用者USが左目用画像IML2を選択した場合、コントローラ205は、左目用画像IML2が選択されたことを示す指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、左目用画像IML2を補正するための処理モード(左目用補正モード)へ処理を移行させる。
画像処理部211は、ステップS214にて、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。画像表示装置204には、撮影画像IM2と球面状画像VSS2とが混合して表示される。
使用者USは、右目用画像IMR2と左目用画像IML2との上下方向または傾きのずれがなくなるように、または、右目用画像IMR2と左目用画像IML2との視差が目的の視差となるように、球面状画像VSS2を回転させる。画像処理部211は、ステップS215にて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている選択された右目用画像IMR2または左目用画像IML2を移動させる。使用者USは球面状画像VSS2を回転させる動作を複数回行ってもよい。
ステップS205で使用者USが撮影画像IM2を自動で調整する項目を選択し、かつ、画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、画像処理部211は、ステップS222にて、画像処理部211またはサーバ206に保存されている補正値CV2を読み出す。
画像処理部211は、ステップS223にて、補正値CV2に基づいて、画像表示装置204に表示されている右目用画像IMR2及び左目用画像IML2のうち、補正値CV2に対応する画像IMR2またはIML2を移動させる。これにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2とのずれがなくなるように、または、右目用画像IMR2と左目用画像IML2との視差が目的の視差となるように、撮影画像IM2を調整することができる。
撮影画像IM2が水平になるように調整されると、または、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されると、画像調整装置210は、処理をステップS203へ戻す。
ステップS205で使用者USが撮影画像IM2を手動で調整するか自動で調整するかを選択しなかった場合、即ちステップS211及びS221で指示情報NN2が出力されなかった場合、画像処理部211は、処理を自動調整モードのステップS222へ移行させてもよい。画像処理部211またはサーバ206に補正値CV2が保存されていない場合、画像処理部211は、処理をステップS204からステップS212へ移行させてもよい。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、撮影画像IM2が手振れ補正されている状態において、カメラ202の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合、カメラ202の進行方向が変更された方向を示す画像(例えば矢印画像AR)を表示する。これにより、カメラ202の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させることができる。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、撮影画像IM2が手振れ補正されている状態において、カメラ202の進行方向が変更されたと判定された場合に、撮影画像IM2を、カメラ202の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置204に表示されている画像を、カメラ202の進行方向が変更された方向に対応させて速やかに変更させることができる。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、カメラ202が倒れたり、激しく動いたりして手振れ補正が追従できなくなった場合、即ち、手振れ補正の設定時の条件が維持できなくなった場合、画像調整装置210は、撮影画像IM2(右目用画像IMR2または左目用画像IML2)を調整するか否か、またはどのように調整するかを使用者USに確認する。画像調整装置210は、使用者USの指示に対応させて撮影画像IM2を調整する。
これにより、画像調整システム201は、撮影画像IM2が水平になるように調整され、かつ、手振れ補正されている状態の撮影画像IM2を画像表示装置204に表示することができる。また、画像調整システム201は、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正され、かつ、手振れ補正されている状態の撮影画像IM2を画像表示装置204に表示することができる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
第1及び第2実施形態では、画像調整装置110及び210が手振れ補正機能を有する構成について説明したが、カメラ102及び202、姿勢制御装置120及び220、またはサーバ106及び206が、手振れ補正機能を有していてもよい。
サーバ106及び206が手振れ補正機能を有する場合、サーバ106及び206は、ステップS103及びS203にて、カメラ102及び202から取得した撮影画像IM1及びIM2を手振れ補正する。この場合、サーバ106がステップS104及びS105の処理を実行してもよいし、サーバ206がステップS204の処理を実行し、ステップS204における判定結果を画像調整装置210へ出力してもよい。
例えば、CGにより生成される仮想画像VSSは、楕円体の表面(楕円面)であってもよく、さらには使用者USの手の届く範囲であれば、任意の閉じた面(閉曲面)であればよい。即ち、使用者USが内側からその閉曲面に接触するような感覚を得て、撮影画像IMの水平調整ができればよい。使用者USが仮想画像VSSを回転動作させることから、仮想画像VSSは球面または楕円面等の球面に近い球面状の形状であることが望ましい。
101,201 画像調整システム
102,202 カメラ
104,204 画像表示装置
105,205 コントローラ
110,210 画像調整装置
111,211 画像処理部
112,212 画像生成部
120,220 姿勢制御装置
IM1,IM2 撮影画像
IML1,IML2 左目用画像
IMR1,IMR2 右目用画像
NN1,NN2 指示情報
VSS1,VSS2 球面状画像(仮想画像)

Claims (5)

  1. カメラと、
    前記カメラが撮影した撮影画像を調整する画像調整装置と、
    前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
    前記画像調整装置へ指示情報を出力するコントローラと、
    を備え、
    前記画像調整装置は、
    球面状画像を生成する画像生成部と、
    前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部と、
    を有し、
    前記カメラは360度の範囲を撮影する全方位カメラであり、
    前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
    前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
    前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
    像調整システム。
  2. 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する請求項に記載の画像調整システム。
  3. 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する請求項に記載の画像調整システム。
  4. 前記画像処理部は、前記カメラの進行方向が変更された方向を示す画像を前記画像表示装置に表示する請求項1~のうちのいずれか1項に記載の画像調整システム。
  5. 前記画像処理部は、前記画像表示装置に表示されている前記撮影画像を、前記カメラの進行方向が変更された方向とは逆方向へ移動させる請求項1~のうちのいずれか1項に記載の画像調整システム。
JP2019025464A 2019-02-15 2019-02-15 画像調整システム Active JP7167760B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019025464A JP7167760B2 (ja) 2019-02-15 2019-02-15 画像調整システム
PCT/JP2020/005239 WO2020166582A1 (ja) 2019-02-15 2020-02-12 画像調整システム、画像調整装置、及び画像調整方法
US17/363,614 US11703948B2 (en) 2019-02-15 2021-06-30 Image adjustment system, image adjustment device, and image adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019025464A JP7167760B2 (ja) 2019-02-15 2019-02-15 画像調整システム

Publications (2)

Publication Number Publication Date
JP2020134620A JP2020134620A (ja) 2020-08-31
JP7167760B2 true JP7167760B2 (ja) 2022-11-09

Family

ID=72278455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025464A Active JP7167760B2 (ja) 2019-02-15 2019-02-15 画像調整システム

Country Status (1)

Country Link
JP (1) JP7167760B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319316A (ja) 2000-07-05 2005-11-17 Matsushita Electric Ind Co Ltd 実験動物の嗅球に埋め込まれる測定電極部
JP2007116538A (ja) 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20090153477A1 (en) 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
JP2013171083A (ja) 2012-02-17 2013-09-02 Kddi Corp 情報端末装置
JP2015194643A (ja) 2014-03-31 2015-11-05 株式会社Jvcケンウッド 映像表示装置、映像表示方法、および、映像表示プログラム
JP2017215875A (ja) 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2018036720A (ja) 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319316A (ja) 2000-07-05 2005-11-17 Matsushita Electric Ind Co Ltd 実験動物の嗅球に埋め込まれる測定電極部
JP2007116538A (ja) 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20090153477A1 (en) 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
JP2013171083A (ja) 2012-02-17 2013-09-02 Kddi Corp 情報端末装置
JP2015194643A (ja) 2014-03-31 2015-11-05 株式会社Jvcケンウッド 映像表示装置、映像表示方法、および、映像表示プログラム
JP2017215875A (ja) 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2018036720A (ja) 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム

Also Published As

Publication number Publication date
JP2020134620A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
EP3379525B1 (en) Image processing device and image generation method
JP6359572B2 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
US11647292B2 (en) Image adjustment system, image adjustment device, and image adjustment
TWI810233B (zh) 用於產生視圖影像之設備及方法
WO2020166582A1 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7167760B2 (ja) 画像調整システム
JP7247636B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
WO2019078833A1 (en) IMAGES OF INCREASED REALITY STABILIZED AND FOLLOWED
US11936986B2 (en) Image adjustment system, image adjustment device, and image adjustment method
US11985298B2 (en) Image adjustment system, image adjustor, and image adjustment method
JP7088068B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
CN117083871A (zh) 控制相机的方法
JP7127569B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134632A (ja) 画像調整システム、画像調整装置、及び画像調整方法
EP3690822A1 (en) Image representation of a scene
JP7088064B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
US20180284908A1 (en) 360 video viewing with point of view set by viewing direction
JP2020136802A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134617A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134616A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020136798A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134630A (ja) 画像調整システム、画像調整装置、及び画像調整方法
Tanase et al. Video stabilization for HMD-based telexistence-Concept and prototype configuration
TW202027500A (zh) 影像產生設備及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221010

R150 Certificate of patent or registration of utility model

Ref document number: 7167760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150