JP7304790B2 - 情報処理装置、生成方法、及び生成プログラム - Google Patents

情報処理装置、生成方法、及び生成プログラム Download PDF

Info

Publication number
JP7304790B2
JP7304790B2 JP2019193104A JP2019193104A JP7304790B2 JP 7304790 B2 JP7304790 B2 JP 7304790B2 JP 2019193104 A JP2019193104 A JP 2019193104A JP 2019193104 A JP2019193104 A JP 2019193104A JP 7304790 B2 JP7304790 B2 JP 7304790B2
Authority
JP
Japan
Prior art keywords
information
viewpoint
sight
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019193104A
Other languages
English (en)
Other versions
JP2021068194A (ja
Inventor
賢人 山▲崎▼
浩平 岡原
純 皆川
慎士 水野
真太郎 坂田
拓実 榊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Nagoya Denki Educational Foundation
Original Assignee
Mitsubishi Electric Corp
Nagoya Denki Educational Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Nagoya Denki Educational Foundation filed Critical Mitsubishi Electric Corp
Priority to JP2019193104A priority Critical patent/JP7304790B2/ja
Publication of JP2021068194A publication Critical patent/JP2021068194A/ja
Application granted granted Critical
Publication of JP7304790B2 publication Critical patent/JP7304790B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、情報処理装置、生成方法、及び生成プログラムに関する。
3次元計測技術が知られている。3次元計測技術では、奥行きが計測される。例えば、センサから取得した距離画像に基づいて空間に存在する物体の表面までの距離が、奥行きとして、計測される。また、例えば、奥行きは、ステレオマッチング又はTOF(Time of Flight)方式を用いて、計測することができる。ここで、距離画像では、各ピクセルがセンサ座標系における光軸の距離情報を有している。なお、距離画像は、デプスマップとも言う。
また、SfM(Structure from Motion)のように、点群(Point Cloud)を構築する技術が、知られている。例えば、複数のカメラが撮影することで得られた複数の画像又は1台のカメラが複数の視点から撮影することで得られた複数の画像に基づいて、空間上に点群が構築される。点群に基づいて得られたCGI(Computer Generated Imagery)は、ユーザが利用するモニタ又はヘッドマウントディスプレイに提供される。例えば、プラント又は工場内を示すCGIが、モニタに提供される。
ここで、色の視感度特性を考慮した広角視覚像を作成する技術が提案されている(非特許文献1を参照)。
上野真実、齋藤豪「色の周辺視野特性を考慮した広角視覚像」、情報処理学会第79回全国大会講演論文集、P127-128、2017年
ところで、CGIの解像度には、ばらつきが生じている場合がある。そこで、画一的に解像度を向上させる方法が考えられる。しかし、当該方法が実行されることは、当該方法を実行する装置の処理負荷を大きくする。
本発明の目的は、処理負荷を軽減することである。
本発明の一態様に係る情報処理装置が提供される。情報処理装置は、3次元情報をそれぞれ示す複数の点である点群を取得する第1の取得部と、3次元座標の空間に前記点群を配置する配置部と、ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得する第2の取得部と、前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、画像を生成する制御部と、を有する。
本発明によれば、処理負荷を軽減できる。
実施の形態1の情報処理装置が有する機能ブロックを示す図である。 実施の形態1の情報処理装置が有するハードウェアの構成を示す図である。 実施の形態1の情報処理装置が実行する処理の例を示すフローチャートである。 実施の形態1の画像生成処理の例を示すフローチャートである。 実施の形態1の情報処理装置が実行する処理の具体例を示す図(その1)である。 実施の形態1の情報処理装置が実行する処理の具体例を示す図(その2)である。 実施の形態2の情報処理装置が実行する処理の具体例を示す図(その1)である。 実施の形態2の情報処理装置が実行する処理の具体例を示す図(その2)である。
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態1.
図1は、実施の形態1の情報処理装置が有する機能ブロックを示す図である。情報処理装置100は、生成方法を実行する装置である。情報処理装置100は、記憶部110、モデル生成部120、第1の取得部130、配置部140、決定部150、第2の取得部160、制御部170、及び提供部180を有する。
ここで、情報処理装置100が有するハードウェアについて説明する。
図2は、実施の形態1の情報処理装置が有するハードウェアの構成を示す図である。情報処理装置100は、CPU(Central Processing Unit)101、GPU(Graphics Processing Unit)102、揮発性記憶装置103、不揮発性記憶装置104、及びバス105を有する。
CPU101は、情報処理装置100全体を制御する。GPU102は、画面の生成及び描画に関する処理を実行する。また、CPU101及びGPU102は、プロセッサとも言う。
揮発性記憶装置103は、情報処理装置100の主記憶装置である。例えば、揮発性記憶装置103は、RAM(Random Access Memory)である。不揮発性記憶装置104は、情報処理装置100の補助記憶装置である。例えば、不揮発性記憶装置104は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。
また、情報処理装置100は、センサ11とモニタ12と接続する。センサ11は、現実空間の情報を取得する装置である。例えば、センサ11は、深度センサである。モニタ12は、情報処理装置100が生成したCGIを表示する。
図1に戻って、情報処理装置100が有する機能ブロックを説明する。
記憶部110は、揮発性記憶装置103又は不揮発性記憶装置104に確保した記憶領域として実現してもよい。
モデル生成部120、第1の取得部130、配置部140、決定部150、第2の取得部160、制御部170、及び提供部180の一部又は全部は、プロセッサによって実現してもよい。
モデル生成部120、第1の取得部130、配置部140、決定部150、第2の取得部160、制御部170、及び提供部180の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサが実行するプログラムは、生成プログラムとも言う。例えば、生成プログラムは、記録媒体に記録されている。
記憶部110は、点群を記憶する。点群は、3次元情報をそれぞれ示す複数の点である。すなわち、点群に含まれる各点は、3次元座標で表される。なお、点群は、点群データと表現してもよい。また、各点は、3次元情報以外の情報を有してもよい。例えば、各点は、色情報を有する。
モデル生成部120は、法則を示すモデルを生成する。当該モデルについては、後で説明する。
第1の取得部130は、記憶部110から点群を取得する。また、第1の取得部130は、センサ11から点群を取得してもよい。ここで、センサ11は、点群を取得可能なセンサである。例えば、センサ11は、Microsoft(登録商標)社製のkinect、Intel(登録商標)社製のRealSense、LiDAR(Light Detection and Ranging)のように、点群を取得可能な装置である。センサ11は、ステレオマッチングを用いて点群を取得する装置でもよい。センサ11は、機械学習によって得られた情報を用いて点群を取得する装置でもよい。さらに、第1の取得部130は、情報処理装置100に接続可能な他の装置から点群を取得してもよい。なお、他の装置の図示は、省略されている。
配置部140は、3次元座標の空間に点群を配置する。また、点群を配置する際、配置部140は、様々な条件に基づいて、点群を配置してもよい。
決定部150は、ビューボリュームを決定してもよい。例えば、決定部150は、カメラの内部パラメータに設定されたニアクリップ面に基づいて、ビューボリュームを決定する。また、例えば、決定部150は、視野角に基づいて、ビューボリュームを決定する。
決定部150は、ユーザの視点とユーザの視線を決定してもよい。すなわち、決定部150は、ユーザの視点と視点からユーザが見ている方向を決定してもよい。決定部150は、ユーザの視点と視線を決定する場合、アウトサイドイン方式又はインサイドアウト方式を用いてもよい。アウトサイドイン方式では、ユーザに付けられたマーカをカメラが検出する。決定部150は、カメラが検出することで得られた情報に基づいて、ユーザの視点と視線を決定する。インサイドアウト方式では、決定部150は、ユーザに付けられたセンサから得られた情報に基づいて、ユーザの視点と視線を決定する。
第2の取得部160は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を決定部150から取得してもよい。ここで、視線は、視点から伸びている線である。また、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報が記憶部110に格納されている場合、第2の取得部160は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を記憶部110から取得してもよい。第2の取得部160は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を外部装置から取得してもよい。
制御部170は、画像を生成する。制御部170の詳細な機能については、後で説明する。なお、当該画像は、CGIとも言う。
提供部180は、制御部170が生成した画像をモニタ12に提供する。これにより、ユーザは、モニタ12に表示された画像を見ることができる。
次に、情報処理装置100が実行する処理について、フローチャートを用いて説明する。
図3は、実施の形態1の情報処理装置が実行する処理の例を示すフローチャートである。
(ステップS11)第1の取得部130は、記憶部110から点群を取得する。
(ステップS12)配置部140は、3次元座標の空間に点群を配置する。
(ステップS13)制御部170は、画像生成処理を実行する。
(ステップS14)提供部180は、制御部170が生成した画像をモニタ12に提供する。
ステップS14の後、制御部170は、視点と視線とのうちの少なくとも1つが変更された場合、ステップS13を実行する。
図4は、実施の形態1の画像生成処理の例を示すフローチャートである。図4は、ステップS13に対応する。
(ステップS21)制御部170は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を第2の取得部160から取得する。制御部170は、視点と視線とに基づいて、点群が配置されている3次元座標の空間にビューボリュームを設定する。詳細には、制御部170は、視線に合うように、点群の向きを変更する。そして、制御部170は、視点と視線とに基づいて、3次元座標の空間にビューボリュームを設定する。
(ステップS22)制御部170は、視線を中心として、当該中心を含む予め決められた範囲内に情報を補間する。補間方法は、バイリニア補間法などの線形補間、非線形補間、近似を用いるニアレストネイバーなどである。これにより、当該範囲内の情報に基づいて画像が生成された場合、当該範囲内の解像度は、向上する。
また、制御部170は、当該範囲外に存在する点を削除してもよい。ここで、ユーザは、視角内の全ての範囲を一様に意識していない。例えば、ユーザは、視線から離れた所も見ている。しかし、ユーザは、視線から離れた所を意識していない。よって、制御部170が当該範囲外に存在する点を削除しても、ユーザは、気付かない。
さらに、制御部170は、視点からの距離が近いほど画像を生成するための情報の密度を向上させ、視点からの距離が遠いほど画像を生成するための情報の密度を低下させてもよい。例えば、制御部170は、補間方法を用いて、視点からの距離が近い箇所の情報量を増やす。また、例えば、制御部170は、視点からの距離が遠い箇所に存在する点を削除する。このように、制御部170は、補間方法を用いて、視点からの距離が遠い箇所に情報を補間しない。よって、情報処理装置100は、補間処理を行わないので、処理負荷を軽減できる。
(ステップS23)制御部170は、点群のうちのビューボリューム内の1以上の点と、補間された情報とに基づいて、画像を生成する。また、この文は、次のように表現してもよい。制御部170は、ビューボリューム内の1以上の点と、補間された情報とに基づいて、レンダリングを実行して、画像を生成する。例えば、制御部170は、1以上の点に対してメッシュ化などの処理を行う。これにより、制御部170は、画像を生成できる。
このように、制御部170は、視線を中心として、中心を含む範囲内の情報量が範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部170は、調整した後の状態に基づいて、画像を生成する。なお、制御部170は、情報量を調整する場合、点群を移動させない。上述しているように、制御部170は、点群の一部を削除することがある。
また、中心を含む範囲内に点群が密集している場合、制御部170は、情報を補間しなくてもよい。そして、制御部170は、当該範囲外に存在する点を削除する。制御部170は、点群のうちのビューボリューム内に存在する1以上の点に基づいて、画像を生成する。このように、制御部170は、視線を中心として、中心を含む範囲内の情報量が範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部170は、調整した後の状態に基づいて、画像を生成する。
次に、情報処理装置100が実行する処理を、具体例を用いて説明する。
図5は、実施の形態1の情報処理装置が実行する処理の具体例を示す図(その1)である。
第1の取得部130は、記憶部110から点群を取得する。配置部140は、情報処理装置100上における、3次元座標の空間に点群を配置する。例えば、図5は、枠20内の点群が当該空間に配置されていることを示している。また、図5は、視点21と視線22を示している。
制御部170は、視点21と視線22とに基づいて、点群が配置されている空間にビューボリューム30を設定する。図5は、ニアクリップ面31とファークリップ面32とを示している。
制御部170は、視線22を中心として、予め決められた範囲内に情報を補間する。これにより、ビューボリューム30内の情報が、高密度になる。また、制御部170は、当該範囲外に存在する点を削除する。
また、図5は、モデル生成部120が生成したモデル40を示している。モデル40は、楕円錐である。モデル生成部120は、モデル40を予め生成する。すなわち、モデル生成部120は、制御部170が画像生成処理を実行する前にモデル40を生成する。モデル生成部120は、モニタ12の解像度などを基にモデル40を生成してもよい。また、モデル生成部120は、外部装置からモデル40を取得してもよい。
モデル40は、法則を示している。例えば、モデル40は、楕円錐である。そのため、モデル40は、底面から先端に近くなるほど面積が小さくなる。モデル生成部120は、このような法則を示すモデルを作成する。例えば、図5は、視点からの距離に比例して密度が低下することを示すモデル40がモデル生成部120に生成されることを示している。
制御部170は、モデル40に基づいて、密度を調整する。すなわち、制御部170は、視点21からの距離が近いほど画像を生成するための情報の密度を向上させ、視点21からの距離が遠いほど画像を生成するための情報の密度を低下させる。
図6は、実施の形態1の情報処理装置が実行する処理の具体例を示す図(その2)である。図6は、視線22を中心として、予め決められた範囲内に情報が補間されたことを示している。例えば、補間された情報は、点33で示している。
図6は、視点21から近い箇所における情報の密度が向上したことを示している。また、図6は、視点21から遠い箇所における情報の密度が低下したことを示している。
制御部170は、ビューボリューム30内の点群と、補間された情報とに基づいて、画像50を生成する。提供部180は、画像50をモニタ12に提供する。
ここで、上記で説明したように、ユーザは、視線から離れた所も見ている。しかし、ユーザは、視線から離れた所を意識していない。それならば、情報処理装置100は、画一的に解像度を向上させなくてよい。視線を中心として、予め決められた範囲内の解像度が高ければよい。
実施の形態1によれば、情報処理装置100は、画一的に解像度を向上させる処理を行わない。よって、情報処理装置100は、情報処理装置100の処理負荷を軽減できる。
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。実施の形態2は、図1~4を参照する。
実施の形態2では、両眼立体視するための2台のモニタを有するヘッドマウントディスプレイに2つの画像を提供する場合を説明する。
実施の形態2における情報処理装置100が実行する処理を、具体例を用いて説明する。
図7は、実施の形態2の情報処理装置が実行する処理の具体例を示す図(その1)である。第1の取得部130は、記憶部110から点群を取得する。配置部140は、情報処理装置100上における、3次元座標の空間に点群を配置する。例えば、図7は、枠61内の点群が当該空間に配置されていることを示している。
第2の取得部160は、ユーザの右目の視点を示す情報、及びユーザの右目の視線を示す情報を取得する。図7は、右目の視点62と右目の視線63を示している。また、第2の取得部160は、ユーザの左目の視点を示す情報、及びユーザの左目の視線を示す情報を取得する。図7は、左目の視点64と左目の視線65を示している。
第2の取得部160は、右目に対応するビューボリューム71を示す情報と左目に対応するビューボリューム72を示す情報を取得する。なお、ビューボリューム71は、第1のビューボリュームとも言う。ビューボリューム72は、第2のビューボリュームとも言う。
制御部170は、右目の視点62と右目の視線63とに基づいて、点群が配置されている空間にビューボリューム71を設定する。制御部170は、左目の視点64と左目の視線65とに基づいて、点群が配置されている空間にビューボリューム72を設定する。
制御部170は、視線63を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部170は、調整した後の状態に基づいて、画像を生成する。当該画像は、第1の画像とも言う。また、制御部170は、視線65を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部170は、調整した後の状態に基づいて、画像を生成する。当該画像は、第2の画像とも言う。
実施の形態2における、制御部170の機能を詳細に説明する。
制御部170は、視線63を中心として、当該中心を含む予め決められた範囲内に情報を補間する。具体的には、制御部170は、実施の形態1で説明した補間方法を用いて、当該範囲内に情報を補間する。これにより、ビューボリューム71内の情報が、高密度になる。ここで、当該中心は、第1の中心とも言う。当該範囲は、第1の範囲とも言う。また、制御部170は、当該範囲外に存在する点を削除してもよい。
制御部170は、視線65を中心として、当該中心を含む予め決められた範囲内に情報を補間する。具体的には、制御部170は、実施の形態1で説明した補間方法を用いて、当該範囲内に情報を補間する。これにより、ビューボリューム72内の情報が、高密度になる。ここで、当該中心は、第2の中心とも言う。当該範囲は、第2の範囲とも言う。また、制御部170は、当該範囲外に存在する点を削除してもよい。
また、図7は、モデル生成部120が生成したモデル81,82を示している。モデル生成部120は、2つのモデルを生成する際、次の内容を考慮する。奥行の長さが長くなるほど、両眼の視差は、小さくなる。そして、2つのモデルの共通部分が増加する。そのため、モデル生成部120は、共通部分における情報の減らし方を緩やかになるように、2つのモデルを生成する。また、モデル生成部120は、ユーザの目の間隔に基づいて、2つのモデルを生成する。さらに、両眼で着目する物の奥行は、右目と左目で焦点距離が異なる。そのため、モデル生成部120は、右目と左目で焦点距離が異なるように2つのモデルを生成する。なお、モデル生成部120は、後に生成される2つの画像の解像度が同じになるように、2つのモデルを生成する。
制御部170は、モデル生成部120が生成したモデルを参考にして、ビューボリューム71内とビューボリューム72内の情報を変化させる。詳細には、制御部170は、視点62からの距離が近いほど、右目のために提供される画像を生成するための情報の密度を向上させ、視点62からの距離が遠いほど、当該画像を生成するための情報の密度を低下させる。例えば、制御部170は、補間方法を用いて、視点62からの距離が近い箇所の情報量を増やす。また、例えば、制御部170は、視点62からの距離が遠い箇所に存在する点を削除する。また、制御部170は、視点64からの距離が近いほど、左目のために提供される画像を生成するための情報の密度を向上させ、視点64からの距離が遠いほど、当該画像を生成するための情報の密度を低下させる。例えば、制御部170は、補間方法を用いて、視点64からの距離が近い箇所の情報量を増やす。また、例えば、制御部170は、視点64からの距離が遠い箇所に存在する点を削除する。
このように、制御部170は、補間方法を用いて、視点からの距離が遠い箇所に情報を補間しない。よって、情報処理装置100は、補間処理を行わないので、処理負荷を軽減できる。
図8は、実施の形態2の情報処理装置が実行する処理の具体例を示す図(その2)である。図8は、視線63を中心として、予め決められた範囲内に情報が補間されたことを示している。例えば、補間された情報は、点73で示している。また、図8は、視線65を中心として、予め決められた範囲内に情報が補間されたことを示している。
図8は、視点62,64から近い箇所における情報の密度が向上したことを示している。また、図8は、視点62,64から遠い箇所における情報の密度が低下したことを示している。
制御部170は、点群のうちのビューボリューム71内の1以上の点と、補間された情報とに基づいて、画像91を生成する。ここで、画像91は、第1の画像とも言う。制御部170は、点群のうちのビューボリューム72内の1以上の点と、補間された情報とに基づいて、画像92を生成する。ここで、画像92は、第2の画像とも言う。提供部180は、画像91,92をヘッドマウントディスプレイに提供する。
ここで、視線63を中心とした、範囲内に点群が密集している場合、制御部170は、情報を補間しなくてもよい。そして、制御部170は、当該範囲外に存在する点を削除する。制御部170は、点群のうちのビューボリューム71内に存在する1以上の点に基づいて、画像を生成する。このように、情報処理装置100は、視線63を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、情報処理装置100は、調整した後の状態に基づいて、画像を生成する。
また、視線65を中心とした、範囲内に点群が密集している場合、制御部170は、情報を補間しなくてもよい。そして、制御部170は、当該範囲外に存在する点を削除する。制御部170は、点群のうちのビューボリューム72内に存在する1以上の点に基づいて、画像を生成する。このように、情報処理装置100は、視線65を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、情報処理装置100は、調整した後の状態に基づいて、画像を生成する。
実施の形態2によれば、情報処理装置100は、実施の形態1と同様に、画一的に解像度を向上させる処理を行わない。よって、情報処理装置100は、情報処理装置100の処理負荷を軽減できる。
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
11 センサ、 12 モニタ、 20 枠、 21 視点、 22 視線、 30 ビューボリューム、 31 ニアクリップ面、 32 ファークリップ面、 33 点、 40 モデル、 50 画像、 61 枠、 62,64 視点、 63,65 視線、 71,72 ビューボリューム、 73 点、 81,82 モデル、 91,92 画像、 100 情報処理装置、 101 CPU、 102 GPU、 103 揮発性記憶装置、 104 不揮発性記憶装置、 105 バス、 110 記憶部、 120 モデル生成部、 130 第1の取得部、 140 配置部、 150 決定部、 160 第2の取得部、 170 制御部、 180 提供部。

Claims (12)

  1. 3次元情報をそれぞれ示す複数の点である点群を取得する第1の取得部と、
    3次元座標の空間に前記点群を配置する配置部と、
    ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得する第2の取得部と、
    前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、画像を生成する制御部と、
    を有する情報処理装置。
  2. 前記制御部は、前記中心を含む前記範囲内に情報を補間し、前記点群のうちの前記ビューボリューム内に存在する1以上の点と、補間された前記情報とに基づいて、前記画像を生成する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記範囲外に存在する点を削除し、前記点群のうちの前記ビューボリューム内に存在する1以上の点に基づいて、前記画像を生成する、
    請求項1又は2に記載の情報処理装置。
  4. 前記制御部は、前記視点からの距離が近いほど前記画像を生成するための情報の密度を向上させ、前記視点からの距離が遠いほど前記画像を生成するための情報の密度を低下させる、
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記画像を提供する提供部をさらに有する、
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記第2の取得部は、
    ユーザの右目の視点を示す情報、前記右目の視線を示す情報、前記右目に対応する第1のビューボリュームを示す情報、前記ユーザの左目の視点を示す情報、前記左目の視線を示す情報、及び前記左目に対応する第2のビューボリュームを示す情報を取得し、
    前記制御部は、
    前記右目の視点と前記右目の視線とに基づいて、前記点群が配置されている前記空間に前記第1のビューボリュームを設定し、前記右目の視線を第1の中心として、前記第1の中心を含む予め決められた第1の範囲内の情報量が前記第1の範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、第1の画像を生成し、前記左目の視点と前記左目の視線とに基づいて、前記点群が配置されている前記空間に前記第2のビューボリュームを設定し、前記左目の視線を第2の中心として、前記第2の中心を含む予め決められた第2の範囲内の情報量が前記第2の範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、第2の画像を生成する、
    請求項1に記載の情報処理装置。
  7. 前記制御部は、前記第1の中心を含む前記第1の範囲内に情報を補間し、前記点群のうちの前記第1のビューボリューム内の1以上の点と、前記第1の範囲内に補間された情報とに基づいて、前記第1の画像を生成し、前記第2の中心を含む前記第2の範囲内に情報を補間し、前記点群のうちの前記第2のビューボリューム内の1以上の点と、前記第2の範囲内に補間された情報とに基づいて、前記第2の画像を生成する、
    請求項6に記載の情報処理装置。
  8. 前記制御部は、
    前記第1の範囲外に存在する点を削除し、前記点群のうちの前記第1のビューボリューム内に存在する1以上の点に基づいて前記第1の画像を生成し、前記第2の範囲外に存在する点を削除し、前記点群のうちの前記第2のビューボリューム内に存在する1以上の点に基づいて前記第2の画像を生成する、
    請求項6又は7に記載の情報処理装置。
  9. 前記制御部は、
    前記右目の視点からの距離が近いほど前記第1の画像を生成するための情報の密度を向上させ、前記右目の視点からの距離が遠いほど前記第1の画像を生成するための情報の密度を低下させ、前記左目の視点からの距離が近いほど前記第2の画像を生成するための情報の密度を向上させ、前記左目の視点からの距離が遠いほど前記第2の画像を生成するための情報の密度を低下させる、
    請求項6から8のいずれか1項に記載の情報処理装置。
  10. 前記第1の画像及び前記第2の画像を提供する提供部をさらに有する、
    請求項6から9のいずれか1項に記載の情報処理装置。
  11. 情報処理装置が、
    3次元情報をそれぞれ示す複数の点である点群を取得し、
    3次元座標の空間に前記点群を配置し、
    ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得し、
    前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、
    前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、
    調整した後の状態に基づいて、画像を生成する、
    生成方法。
  12. 情報処理装置に、
    3次元情報をそれぞれ示す複数の点である点群を取得し、
    3次元座標の空間に前記点群を配置し、
    ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得し、
    前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、
    前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、
    調整した後の状態に基づいて、画像を生成する、
    処理を実行させる生成プログラム。
JP2019193104A 2019-10-24 2019-10-24 情報処理装置、生成方法、及び生成プログラム Active JP7304790B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019193104A JP7304790B2 (ja) 2019-10-24 2019-10-24 情報処理装置、生成方法、及び生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019193104A JP7304790B2 (ja) 2019-10-24 2019-10-24 情報処理装置、生成方法、及び生成プログラム

Publications (2)

Publication Number Publication Date
JP2021068194A JP2021068194A (ja) 2021-04-30
JP7304790B2 true JP7304790B2 (ja) 2023-07-07

Family

ID=75638491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019193104A Active JP7304790B2 (ja) 2019-10-24 2019-10-24 情報処理装置、生成方法、及び生成プログラム

Country Status (1)

Country Link
JP (1) JP7304790B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6584735B1 (ja) 2019-03-25 2019-10-02 三菱電機株式会社 画像生成装置、画像生成方法、および画像生成プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6584735B1 (ja) 2019-03-25 2019-10-02 三菱電機株式会社 画像生成装置、画像生成方法、および画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上野真実,斎藤豪,色の周辺視野特性を考慮した広角視覚像,情報処理学会第79回全国大会論文集,2017年03月16日

Also Published As

Publication number Publication date
JP2021068194A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP4966431B2 (ja) 画像処理装置
US20110243388A1 (en) Image display apparatus, image display method, and program
US6233004B1 (en) Image processing method and apparatus
US9210407B2 (en) Image processing apparatus and method, and program
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
US8094148B2 (en) Texture processing apparatus, method and program
JP2018110295A5 (ja)
JP2012244396A (ja) 画像処理装置、画像処理方法、およびプログラム
CN107209949B (zh) 用于产生放大3d图像的方法和系统
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
TW201225640A (en) Apparatus and method for displaying stereoscopic images
JP2018113683A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
JP6143612B2 (ja) パノラマ画像表示装置
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
KR20200003597A (ko) 증강현실 영상 보정 장치 및 방법
JP7304790B2 (ja) 情報処理装置、生成方法、及び生成プログラム
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
JP2017163528A5 (ja)
JP3054312B2 (ja) 画像処理装置及び方法
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
JP5868055B2 (ja) 画像処理装置および画像処理方法
WO2013140702A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20191024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150