JP5957838B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5957838B2 JP5957838B2 JP2011217561A JP2011217561A JP5957838B2 JP 5957838 B2 JP5957838 B2 JP 5957838B2 JP 2011217561 A JP2011217561 A JP 2011217561A JP 2011217561 A JP2011217561 A JP 2011217561A JP 5957838 B2 JP5957838 B2 JP 5957838B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- viewpoint
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
画像処理を行う画像処理装置であって、
撮像画像を撮像する1つのみの撮像部及び前記撮像画像のデータを送信する送信部を備え、姿勢変化をしながら当該画像処理装置とは独立に移動し得る1つのみのオブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得される前記オブジェクト画像のデータを、当該オブジェクト画像のデータ以外の撮像画像を使用することなく加工することで、当該オブジェクトの備える前記撮像部が実際に撮像する視点とは異なる仮想視点からの画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする。
以下、本発明の第1実施形態について、図面を用いて説明する。
本実施形態に係る画像処理システム10は、競技場で開催されるサッカーの試合を撮像する用途で設定されている。
このため、サッカーボール(以下、「ボール」と略記する)や選手等から、鑑賞者に提供される画像の視点となり得るオブジェクトがm個採用されるものとする。ここで、mは、1以上の任意の整数値であるが、本実施形態ではボール及び選手数と同一の値である「7」とする。
図1に示すように、本実施形態に係る画像処理システム10においては、ボールであるオブジェクト11−1及び各選手のそれぞれであるオブジェクト11−2〜11−7と、画像処理装置12と、中継装置13と、n台の外部端末14−1〜14−nと、がネットワークNを介して相互に接続されている。ネットワークNは、LAN(Local Area Network)やインターネット等の任意のネットワークである。
以下、外部端末14−1〜14−nを個々に区別する必要がない場合、これらをまとめて、「外部端末14」と単に呼ぶ。また、外部端末14と呼んでいる場合には、その構成要素の符号についても、1〜nを省略して説明する。
また、以下、オブジェクト11−1〜11−7を個々に区別する必要がない場合、これらをまとめて、「オブジェクト11」と単に呼ぶ。また、オブジェクト11と呼んでいる場合には、その構成要素の符号についても、1〜7を省略して説明する。
オブジェクト11は、詳細については図6を参照して説明するが、撮像部及び送信部を備えており、回転したり振動したりしながら姿勢変化しながら移動している最中に撮影した画像のデータを画像処理装置12に逐次送信する。
この場合、画像処理装置12は、移動方向A1に移動している選択オブジェクト11−1から逐次送信されてくる一連の画像(動画像)のデータを加工することによって、当該選択オブジェクト11−1を視点として、その視点がブレや回転をすることなく移動方向A1に移動していくような一連の画像(動画像)のデータを生成する。即ち、この場合、画像処理装置12は、選択オブジェクト11−1の移動方向A1に基づく画像(動画像)のデータを生成する。
これに対して、画像処理装置12による生成後のデータとは、選択オブジェクト11−1が実際に回転していても、ブレや回転をすることなく移動方向A1に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、仮想視点とは、撮像部以外の実物体又は仮想物体に可変可能に配置される仮想的な視点をいう。具体的には図1の例では、仮想視点は、選択オブジェクト11−1に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように(その結果回転することなく移動方向A1に移動していくように)可変配置される仮想的な視点である。
従って、画像処理装置12は、選択オブジェクト11−1の実際の視点から眺めた様子を表わす画像のデータを、回転することなく移動方向A1に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
図1に示すボールのオブジェクト11−1の他、各選手のオブジェクト11−2〜11−7の中からも、視点となる選択オブジェクトの設定が可能である。図2の例では、オブジェクト11−3が選択オブジェクトに設定されている。
この場合、画像処理装置12は、移動方向A3に移動している選択オブジェクト11−3から逐次送信されてくる一連の画像(動画像)のデータを加工することによって、当該選択オブジェクト11−3を視点として、その視点がブレることなく移動方向A3に移動していくような一連の画像(動画像)のデータを生成する。即ち、この場合、画像処理装置12は、選択オブジェクト11−3の移動方向A3に基づく画像(動画像)のデータを生成する。
これに対して、画像処理装置12による生成後のデータとは、選択オブジェクト11−3が移動方向A3とは別の方向に揺れたりしても、その別の方向にブレることなく移動方向A3に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、図2の例の仮想視点は、選択オブジェクト11−3に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように(その結果ブレることなく移動方向A3に移動していくように)可変配置される仮想的な視点である。
従って、画像処理装置12は、選択オブジェクト11−3の実際の視点から眺めた様子を表わす画像のデータを、ブレることなく移動方向A3に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
仮想視点は、図1に示すボールのオブジェクト11−1や、図2に示す各選手のオブジェクト11−2〜11−7に配置するのみならず、オブジェクト11−7以外の任意の位置(当該位置に存在する仮想物体と把握してもよい)や実物体に配置することが可能である。図3の例では、競技場の周囲の位置の仮想物体に仮想視点15−1〜15−3の各々が配置可能とされている。
この場合、画像処理装置12は、各オブジェクト11−1〜11−7のそれぞれから逐次送信されてくる一連の画像(動画像)のデータの中から、1以上の画像のデータを選択し、選択した画像のデータを加工することによって、仮想視点15−1〜15−3のうちの少なくとも1つから眺めた様子を表わす一連の画像(動画像)のデータを生成する。
これに対して、仮想視点15−1〜15−3を結ぶ方向を移動方向と捉え、移動速度0の場合も移動の一形態と捉えるならば、画像処理装置12による生成後のデータとは、回転やブレ等生ずることなく移動方向に所定の移動速度(移動速度0の場合も含む)で移動していく仮想視点15−1〜15−3の少なくとも1つから眺めた様子を表わす画像のデータである。
より具体的には、移動速度が0を超えている場合には、仮想視点15−1〜15−3の各々は同一の移動物体に固定配置(眺める方向(以下、「眺望方向」と呼ぶは可変可能)されていると把握される。ここでいう移動物体は、競技場に現存する実物体のみならず、仮想物体も含む。この場合、当該移動物体が移動方向に所定の移動速度で連続的に移動していくのに伴い、1つの仮想視点が連続的に移動していくことになる。この1つの仮想視点は移動中に3か所の位置を通過することになるが、3か所のそれぞれの位置を通過した時点の様子が、仮想視点15−1〜15−3の各々として図3に描画されていると把握することができる。
これに対して、移動速度が0の場合には、仮想視点15−1〜15−3は、相互に離間した3つの静止物体(3つの定点)に固定配置(眺望方向は可変可能)されると把握される。即ち、仮想視点15−1〜15−3は定点カメラと同様の振る舞いとなり、複数の定点カメラが適宜切り換えられて放送されるのと同様に、固定の仮想視点15−1〜15−3の各々が適宜変更されると把握することができる。従って、画像処理装置12は、1以上のオブジェクト11の各々の実際の視点から眺めた様子を表わす画像のデータを、回転やブレ等生ずることなく移動方向に所定の移動速度(移動速度0の場合も含む)移動していく物体に配置された仮想視点(仮想視点15−1〜15−3を含む)から眺めた様子を表わす画像のデータに変換している、と把握することもできる。この場合、画像処理装置12は、オブジェクト11とは別の物体に配置された仮想視点が移動した場合の一連の画像(動画像)のデータを生成する。
即ち、ボールのオブジェクト11−1は、上述の如く、回転をしながら移動方向A1に移動している。例えば、水平方向を軸にして回転しているものとする。
この場合、オブジェクト11−1に内蔵されているカメラの光軸方向も回転していく。従って、当該カメラからは、図示はしないが、
(a)光軸が移動方向A1と一致した際の撮像画像(ゴールG1を被写体として含む撮像画像)、
(b)光軸が移動方向A1よりも上方向に回転した際の撮像画像(空を被写体として含む撮像画像)、
(c)光軸が移動方向A1と反対方向に回転した際の撮像画像(反対側のゴールG2を被写体として含む撮像画像)、
(d)光軸が移動方向A1よりも下方向に回転した際の撮像画像(地面を被写体として含む撮像画像)といった各データを1単位として、
この1単位のデータ(ただし、移動方向A1に移動しながらゴールG1に近付いていくデータ)が繰り返し出力されていくことになる。
そこで、画像処理装置12は、このような1単位のデータ毎に、(1)光軸が移動方向A1と一致した際の撮像画像(ゴールG1を被写体として含む撮像画像)のデータのみを抽出していく。
ボールの回転速度が速ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は短くスムーズな動画像のデータになるので、回転を伴わずに移動方向A1に移動していく仮想視点から眺めた様子を表わす視点変換画像(動画像)のデータとしてそのまま採用してもよい。
ただし、ボールの回転速度が遅ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は長くスムーズな動画像のデータとはならないため、回転を伴わずに移動方向A1に移動していく仮想視点から眺めた様子を表わす視点変換画像(動画像)のデータとしてそのまま採用することは不適である。
そこで、このような場合には、画像処理装置12は、各撮像画像のデータの時間方向の合間に、補間或いは創造した新たな画像のデータを挿入すればよい。時間方向への新たな画像の補間或いは創造の手法は、公知の任意の手法を採用することができる。即ち、第1の画像と第2の画像との間に時間方向に補完される画像は、特に限定されず、公知の任意の手法により得られる任意の画像であってもよいし、第1の画像又は第2の画像そのものであってもよい。また、時間方向への新たな画像の創造の公知の手法としては、例えば特開2004−266381号公報等に開示されている。
「手ぶれ補正」とは、撮像画像内の手ぶれの領域を画像処理により補正する手法をいう。
公知の「手ぶれ補正」として、動画像のうちの何枚かの連続するフレーム群や、連写により連続して得られた何枚かの静止画像群を処理対象にして、処理対象の各画素のデータをそれぞれ加算平均することで、処理対象を合成する手法、即ちいわゆるマルチプレーン加算方式が用いられている。
なお、以下、マルチプレーン加算方式により処理対象(フレーム群や静止画像群)が合成された結果得られる画像を、「合成画像」と呼ぶ。
ここで、マルチプレーン加算方式において、フレーム群や静止画像群の全画素(全領域)が加算平均の対象になると、その結果得られる合成画像においては、手ぶれの領域は有効に補正されているが、動被写体の領域では、単純に合成されたことに起因してボケが生じてしまう。
そこで、このような動被写体のボケを低減すべく、動被写体以外の領域のみを加算平均する一方、動被写体の領域については加算平均しない手法が、特開2009−290827号公報に開示されている。
画像処理装置12は、このように特開2009−290827号公報に開示された公知の「手ぶれ補正」を採用することで、ボールのオブジェクト11−1の揺れを除去した視点変換画像のデータを生成することができる。
即ち、図4(1)は、仮想視点の眺望方向が移動方向A1と一致している場合の視点変換画像を示している。
一方、図4(2)は、ボールのオブジェクト11−1の実際の視点から眺めた様子を表わす一連の画像(動画像)から変換されたものであり、回転を伴わずに移動方向A1に移動していく仮想視点から眺めた様子を示す視点変換画像を示している点は図4(1)と同様であるが、仮想視点の眺望方向が移動方向A1の左方90度となっている点が図4(1)と異なる。
なお、図4(2)の視点変換画像の生成手法は、特に限定されず、例えば、ボールのオブジェクト11−1に内蔵されているカメラのレンズの光軸方向が自在に変更可能な場合には、当該光軸方向をオブジェクト11−1の移動方向A1の左方90度に変更した上で、図4(1)の視点変換画像の生成手法と同様の手法を採用すればよい。一方、ボールのオブジェクト11−1に内蔵されているカメラのレンズの光軸方向が固定の場合には、当該オブジェクト11−1に内蔵されているカメラの撮像画像のデータに加えて、各選手のオブジェクト11−2〜11−7のそれぞれに内蔵されているカメラの各撮像画像のデータを適宜用いて、図4(2)の視点変換画像を生成する手法を採用すればよい。
なお、図4(3)の視点変換画像の生成手法は、特に限定されず、例えば、図4(1)の生成手法(特に手ぶれ補正)と同様な手法を採用すればよい。
図4(4)は、選手のオブジェクト11−3の実際の視点から眺めた様子を示す一連の画像(動画像)から変換されたものであり、ブレを伴わずに移動方向A3に移動していく仮想視点から、移動方向A3の左方90度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
なお、図4(4)の視点変換画像の生成手法は、特に限定されず、例えば、図4(2)の生成手法と同様な手法を採用すればよい。
図4(6)は、オブジェクト11−1〜11−7の各々の実際の視点から眺めた様子を示す一連の画像(動画像)から変換されたものであり、回転やブレを伴わずに移動方向に移動速度0で移動していく仮想視点15−2(即ち固定された仮想視点15−2)から、それが仮想配置された競技場Fの手前センターラインから正面方向を眺望方向として眺めた様子を示す視点変換画像を示している。
図4(7)は、オブジェクト11−1〜11−7の各々の実際の視点から眺めた様子を示す一連の画像(動画像)から変換されたものであり、回転やブレを伴わずに移動方向に移動速度0で移動していく仮想視点15−3(即ち固定された仮想視点15−3)から、それが仮想配置された競技場Fの手前右側コーナーから左斜め45度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
ここで、ネットワークNがインターネットであるならば、外部端末14は、視点変換画像のデータの取得要求等の指示を、例えばHTTP(Hypertext Transfer Protocol)によるURL(Uniform Resource Locator)要求により行うことができる。
さらに、外部端末14は、各種制御信号を中継装置13を介して画像処理装置12に送信することで、選択オブジェクトの変更指示等の遠隔制御を実行できる。
[画像処理装置12]
図5は、本実施形態に係る画像処理装置12のハードウェアの構成を示すブロック図である。
表示部38は、ディスプレイにより構成され、各種画像、例えば上述の視点変換画像を表示する。
記憶部39は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像、例えば上述の視点変換画像のデータを記憶する。
通信部40は、インターネットを含むネットワークNを介して他の装置、例えば画像処理システム10内のオブジェクト11(図1参照)や外部端末14(図1参照)との間で行う通信を制御する。
本明細書における画像表示処理とは、次のような一連の処理をいう。即ち、画像処理装置12は、選択オブジェクトから送信された画像のデータに基づいて、所定の移動方向に移動(移動速度0による移動、即ち静止も含む)を行う仮想視点から眺めた様子を示す視点変換画像のデータを生成し、当該視点変換画像を表示部38に表示したり、当該視点変換画像のデータを外部端末14に送信する制御処理を実行する。
図6に示すように、オブジェクト11は、撮像部101と、センサ部102と、オブジェクトデータ生成部103と、送信部104と、を備える。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部101の出力信号として出力される。
このような撮像部101の出力信号を、以下、「オブジェクト画像のデータ」と呼ぶ。オブジェクト画像のデータは、オブジェクトデータ生成部103に適宜供給される。即ち、撮像部101は、周囲の空間を連続撮影し、その結果得られる連写画像や動画像のデータを、バッファ(図示せず)に一次記憶しながら順次圧縮符号化して、送信部104を介して画像処理装置12に送信する。
また、光学レンズ部の光軸方向は、任意の方向に変更可能であってもよいし、固定であってもよい。
ここで、3軸加速度データのうち、X成分はオブジェクト11の垂直方向の振動周期に、Y成分はオブジェクト11の水平方向の振動周期に、Z成分はオブジェクト11の進行方向の振動周期に、それぞれ対応する。
ただし、後述するように、本実施形態の画像処理装置12は、当該センサ部102から出力される3軸加速度データを用いずに、撮像部101から出力されるオブジェクト画像のデータを用いた画像処理を実行することで、視点変更画像のデータを生成するようにしている。
これにより、処理対象の単位画像が、撮像部101の光軸がどの方向に向いたときに撮像された画像であるのか容易に判断することができる。
ただし、図6は例示であり、画像処理部34の機能の少なくとも一部をCPU31に委譲してもよいし、逆に、CPU31の機能の少なくとも一部を画像処理部34に委譲してもよい。
また、画像処理装置12の記憶部39の一領域として、オブジェクトデータ記憶部81と、参照情報記憶部82と、が設けられている。なお、オブジェクトデータ記憶部81及び参照情報記憶部82が記憶部39の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア51の一領域として設けられるようにしてもよい。
なお、オブジェクトデータ記憶部81にオブジェクト11毎に記憶されているオブジェクトデータが動画像データである場合には、オブジェクト画像取得部61は、当該動画像データをオブジェクトデータとして取得し、オブジェクト画像加工部62へ供給する。
具体的には、オブジェクト画像加工部62は、姿勢変化算出部91と、移動方向算出部92と、画像変換部93と、を備える。
なお、オブジェクト画像取得部61により取得されたオブジェクトデータに動画像データが含まれる場合には、オブジェクト画像加工部62は、当該動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
姿勢変化の算出手法は、特に限定されず、選択オブジェクト11等の3軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト11等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
移動方向の算出手法は、特に限定されず、選択オブジェクト11等の3軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト11等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
ここで、仮想視点は、選択オブジェクト11における仮想視点の他、任意の位置の物体(仮想物体含む)に配置された仮想視点(例えば図3の仮想視点15−1〜15−3)も含む。また、仮想視点の移動とは、移動速度が0の移動、即ち静止状態も含む。
オブジェクト画像加工部62は、生成した視点変換画像のデータをオブジェクトデータ記憶部81に記憶する。
ここで、視点変換画像のデータの出力の形態は、特に限定されないが、本実施形態では、画像処理装置12の表示部38に表示出力する形態と、外部端末14に送信出力する形態とがある。
即ち、出力制御部71は、視点変換画像を表示部38に表示する制御と、視点変換画像のデータを通信部40及びネットワークNを介して外部端末14へ送信する制御とを実行する。
なお、オブジェクト画像加工部62により生成された視点変換画像のデータが動画像データである場合には、出力制御部71は、動画像データとして生成された視点変換画像のデータの出力を制御する。
ここで、仮想視点の配置先の変更とは、仮想視点の位置(対象)の変更と、仮想視点の眺望方向の変更とを含む。仮想視点の位置(対象)の変更とは、オブジェクト11−1〜11−7の各々における仮想視点、及び、任意の位置の仮想視点(図3の仮想視点15−1〜15−3等)のうち、指定された仮想視点を選択することをいう。仮想視点の眺望方向の変更とは、仮想視点の位置は保持したまま、仮想視点が眺める方向を任意に変更することをいう。
図7は、図6の機能的構成を備える画像処理装置12が実行する画像表示処理の一連の流れを説明するフローチャートである。
画像表示処理は、このようなユーザによる所定の操作を契機として開始され、次のような処理が実行される。
視点変更操作の指示を受けた場合には、ステップS14においてYESであると判定されて、処理はステップS15に進む。
オブジェクト変更操作の指示を受けた場合には、ステップS16においてYESであると判定されて、処理はステップS17に進む。
ステップS18において、制御信号受信部74は、外部端末14から制御信号を受信したか否かを判定する。外部端末14から制御信号を受信していない場合には、ステップS18においてNOであると判定されて、処理はステップS20に進む。ただし、ステップS20以降の処理については後述する。
ステップS19において、視点変更部72又はオブジェクト変更部73は、受信した制御信号に応じて、仮想視点又は選択オブジェクトを変更する。
この処理では、視点変更指示操作を示す制御信号であった場合には、当該制御信号が視点変更部72に供給され、ステップS15の処理と同様の処理が実行されて、仮想視点が変更される。また、オブジェクト変更指示操作を示す制御信号であった場合には、当該制御信号がオブジェクト変更部73に供給され、ステップS17の処理と同様の処理が実行されて、選択オブジェクトが変更される。なお、視点変更指示操作及びオブジェクト変更指示操作の両者を含む制御信号であった場合には、仮想視点と選択オブジェクトの両者が変更される。この処理が終了すると処理はステップS20に進む。
終了指示を受けていない場合には、ステップS20においてNOであると判定されて、処理はステップS11に戻る。即ち、画像表示処理の終了指示が受け付けるまでの間、ステップS11乃至ステップS20の処理が繰り返し実行される。そして、画像表示処理の終了指示が受け付けられると、ステップS20においてYESであると判定されて、画像表示処理は終了となる。
図8は、図7の画像表示処理のうち、第1実施形態に係る画像変換処理について説明するフローチャートである。
なお、図8には、選択オブジェクト11が仮想視点となって視点変換画像が生成される場合であって、選択オブジェクト11からのオブジェクトデータには、オブジェクト画像のデータのみが含まれている場合を例とした画像変換処理が示されている。
ステップS32において、通信部40は、オブジェクト画像のデータを、それが撮像された時刻(近似的に現時刻でもよい)と対応付けてオブジェクトデータ記憶部81に記憶させる。
この処理が終了すると、画像変換処理は終了となり、即ち、図7のステップ11の処理が終了し、処理はステップS12に進む。
オブジェクト画像取得部61は、光軸方向を視点とする撮像画像を撮像する撮像部101及び撮像画像のデータを送信する送信部104を備えたオブジェクト11であって、姿勢変化をしながら移動し得るオブジェクト11から逐次送信される撮像画像のデータを、オブジェクト画像のデータとして逐次取得する。
オブジェクト画像加工部62は、オブジェクト画像取得部61により逐次取得されたオブジェクト画像のデータを加工することで、オブジェクト11又はそれ以外の実物体若しくは仮想物体に配置された仮想視点15−1〜15−3が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
出力制御部71は、オブジェクト画像加工部62により生成された視点変換画像のデータを出力する制御を実行する。
この場合、画像処理装置12は、姿勢変化しながら移動しているオブジェクト11が撮影した画像のうち、所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータのみを得ることができる。そして得られた画像データを出力することができる。
即ち、上下左右360度姿勢変化しながら移動しながら撮影されるオブジェクト11により撮像される画像のうち、所望する方向の画像のみを確認することができる。従って、ボールや選手等をオブジェクトとして選択するだけで、実際のスポーツ競技やプレー中の情景を、ボール等の用具や選手等の視点で映像として見ることができる。また、ボール等の用具や選手等の運動や速度、高さ等で、新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。このため、鑑賞者が所望する視点で撮影されたとの等価な画像を容易に得ることができる。また、オブジェクト11自体は高度な画像処理を行う必要がないため、オブジェクト11に対する軽量化及びコストの低減を図ることもできる。
この場合、画像処理装置12は、姿勢変化しながら移動しているオブジェクト11が撮像した画像のうち、オブジェクトの移動方向に基づく視点とした視点変換画像のデータを得ることができる。従って、オブジェクト11がブレたり、別の方向に揺れたりしても、それに追随してブレたり、揺れたりすることなくオブジェクト11の仮想視点から眺めた様子を表わす画像のデータを得ることができる。
オブジェクト画像加工部62は、オブジェクト画像のデータのうち、光軸方向がオブジェクト11の移動方向と略一致しているときに撮像部101により撮像された撮像画像のデータを抽出し、抽出した撮像画像のデータを加工することで、視点変換画像のデータを生成してもよい。
この場合、画像処理装置12は、オブジェクト11の移動方向のみの撮像画像のデータに基づいて視点変更画像のデータを生成する。従って、オブジェクト11が回転したり、揺れたりすることにより、撮像部101の光軸方向がオブジェクトの進行方向とは異なる方向に向いた画像を除外し、オブジェクト11の移動方向から眺めた様子を表わす画像のデータを得ることができる。
この場合、視点変換画像は、よりスムーズに表現される動画像となるので、迫力あるダイナミックな映像をよりリアルに再現することができる。
姿勢変化算出部91は、オブジェクト画像取得部61により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクト画像の各々が撮像部101に撮影された際のオブジェクトの姿勢の変化を算出する。
画像変換部93は、姿勢変化算出部の算出結果に基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。
この場合、オブジェクト11として球状のボール等が選択された場合であっても、取得されたオブジェクト画像のデータを用いた画像処理のみで、オブジェクト11からの視点の画像が、姿勢変化に合わせて目まぐるしく変化することなく安定して出力される。
移動方向算出部92は、オブジェクト画像取得部61により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクトの移動方向を算出する。
画像変換部93は、姿勢変化算出部91の算出結果に加えてさらに移動方向算出部92の算出結果基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。この場合、鑑賞者が所望する移動方向から眺めた様子を表わす画像のデータを得ることができる。
オブジェクトは複数であり、オブジェクト変更部73は、複数のオブジェクトの中で、オブジェクト画像取得部61によるオブジェクト画像のデータの取得の対象となるオブジェクトを変更する。
この場合、鑑賞者は必要に応じて、複数のオブジェクト11のうち所望のオブジェクト11の視点の映像を得ることができる。
仮想視点の配置候補となるオブジェクト又は物体は複数であり、視点変更部72は、複数の配置候補の中で、仮想視点の配置先を変更する。
この場合、鑑賞者は必要に応じて、複数の視点のうち所望の視点の映像を得ることができる。
この場合、鑑賞者は必要に応じて、所望の視点において安定した映像を得ることができる。
オブジェクト画像加工部62は、仮想視点15−1〜15−3が複数の物体の各々に移動した場合の視点変換画像のデータを生成してもよい。
この場合、所望の視点において新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。
この場合、さらに選択の自由度の高い様々な視点において、新しい眺望世界や、迫力あるダイナミックな映像をより適切に再現することができる。
出力制御部71は、視点変換画像を表示部38に表示する制御を実行する。
この場合、鑑賞者であるテレビ局の編集局員等は、表示部38を通じて、容易にオブジェクト11の視点の画像を確認することができる。
出力制御部71は、視点変換画像のデータを、通信部40から外部端末14に送信する制御を実行する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末14を操作するだけで、あたかも自分自身が競技場内を移動するボール等のオブジェクト11になったかのような視点の画像を見ることができる。
オブジェクト画像加工部62は、制御信号受信部74に受信された制御信号に応じた画像変換を行うことで、視点変換画像のデータを生成する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末14を操作するだけで、鑑賞者自身の好みの画像を選択することができる。
オブジェクト画像取得部61は、オブジェクトから送信される動画像データを、オブジェクト画像のデータとして取得する。
オブジェクト画像加工部62は、オブジェクト画像取得部61により取得された動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
出力制御部71は、オブジェクト画像加工部62により動画像データとして生成された視点変換画像のデータを出力する制御を実行する。
この場合、オブジェクト11の視点での迫力のあるダイナミックな動画像データを得ることができる。
次に、本発明の第2実施形態に係る画像処理装置12について説明する。
本発明の第2実施形態に係る画像処理装置12は、第1実施形態に係る画像処理装置12と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図5は、第2実施形態に係る画像処理装置12のハードウェアの構成を示すブロック図でもある。
さらに、第2実施形態に係る画像処理装置12が実行する画像変換処理は、第1実施形態に係る画像変換処理と基本的に同様の流れとなる。従って、図8は、第2実施形態に係る画像変換処理の流れを説明するフローチャートでもある。
ただし、第2実施形態では、画像変換処理のうちステップS31乃至ステップS34の処理については、第1実施形態で採用された図8のフローチャートではなく、図9のフローチャートが採用される。
図9は、図6の機能的構成を備える図5の画像処理装置12が実行する、第2実施形態に係る画像変換処理の流れを説明するフローチャートである。
オブジェクト画像のデータの履歴からオブジェクト11の姿勢変化や移動方向を算出しているのに対して、第2実施形態における図9の画像変換処理では、オブジェクトデータに付加された3軸加速度データに基づいてオブジェクト11の姿勢変化や移動方向を算出している点が差異点である。詳細には、第2実施形態では、第1実施形態に係るステップS31乃至ステップS34の処理に代えて、ステップS51乃至ステップS54の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
ステップS52において、通信部40は、オブジェクトデータを、オブジェクトデータに含まれるオブジェクト画像が撮像された時刻(近似的に現時刻でもよい)と対応付けてオブジェクトデータ記憶部81に記憶させる。
この処理が終了すると、画像変換処理は終了となり、即ち、図7のステップS11の処理が終了し、処理はステップS12に進む。
オブジェクト画像取得部61は、撮像画像のデータに付加された情報をさらに取得する。
オブジェクト画像加工部62は、視点変換画像の生成の際に、オブジェクト画像取得部61により取得された情報を利用する。
この場合、画像認識等の技術を用いずに視点変更画像のデータを得ることができるため、画像処理に要する負担の軽減を図ることができる。また、各種センサにより得られる情報に基づいて視点変更画像を生成することができるため、より正確な視点を認識して視点変更画像を生成することができる。
上述の実施形態では、本発明が適用される上述の実施形態では、ボールをオブジェクトとして選択する例について説明したがこれに限定されない。例えば、スポーツ競技用のバット、ラケット、クラブ、シューズ等の弾性体や半透明体の球体やスポーツ用具状の外装の中に撮像部を組み込むか、着脱式に装着するか、又は貼付して使用することができる。
換言すると、図6の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置12に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体(実物体若しくは仮想物体)に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記2に記載の画像処理装置。
[付記4]
前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記2又は3に記載の画像処理装置。
[付記5]
前記オブジェクト画像加工手段は、抽出した複数の前記撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、前記視点変換画像のデータを生成する、
ことを特徴とする付記4に記載の画像処理装置。
[付記6]
前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
を備えることを特徴とする付記1乃至5の何れか1つに記載の画像処理装置。
[付記7]
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクトの移動方向を算出する移動方向算出手段をさらに備え、
前記画像変換手段は、前記姿勢変化算出手段の算出結果に加えてさらに前記移動方向算出手段の算出結果基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する
ことを特徴とする付記6に記載の画像処理装置。
[付記8]
前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする付記1乃至7のうち何れか1つに記載の画像処理装置。
[付記9]
前記オブジェクトは複数であり、
複数の前記オブジェクトの中で、前記オブジェクト画像取得手段による前記オブジェクト画像のデータの取得の対象となるオブジェクトを変更するオブジェクト変更手段をさらに備える、
ことを特徴とする付記1乃至8のうち何れか1つに記載の画像処理装置。
[付記10]
前記仮想視点の配置候補となる前記オブジェクト又は前記物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする付記1乃至9のうち何れか1つに記載の画像処理装置。
[付記11]
前記仮想視点は、移動速度が0の前記物体に配置されたものである、
ことを特徴とする付記1に記載の画像処理装置。
[付記12]
前記仮想視点は、移動速度が0の相互に離間した複数の物体に配置され、
前記オブジェクト画像加工手段は、前記仮想視点が前記複数の物体の各々に移動した場合の前記視点変換画像のデータを生成する、
ことを特徴とする付記11に記載の画像処理装置。
[付記13]
前記仮想視点は、前記物体として移動物体に配置されたものである、
ことを特徴とする付記1に記載の画像処理装置。
[付記14]
画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする付記1乃至13の何れか1つに記載の画像処理装置。
[付記15]
表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする付記1乃至14の何れか1つに記載の画像処理装置。
[付記16]
前記通信手段を介して前記外部端末からの制御信号を受信する制御信号受信手段をさらに備え、
前記オブジェクト画像加工手段は、前記制御信号受信手段に受信された前記制御信号に応じた画像変換を行うことで、前記視点変換画像のデータを生成する、
ことを特徴とする付記15に記載の画像処理装置。
[付記17]
前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする付記1乃至16の何れか1つに記載の画像処理装置。
[付記18]
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得ステップと、
前記オブジェクト画像取得ステップにより逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体(実物体若しくは仮想物体)に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工ステップと、
前記オブジェクト画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
[付記19]
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能、により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体(実物体若しくは仮想物体)に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能、により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
Claims (14)
- 画像処理を行う画像処理装置であって、
撮像画像を撮像する1つのみの撮像部及び前記撮像画像のデータを送信する送信部を備え、姿勢変化をしながら当該画像処理装置とは独立に移動し得る1つのみのオブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得される前記オブジェクト画像のデータを、当該オブジェクト画像のデータ以外の撮像画像を使用することなく加工することで、当該オブジェクトの備える前記撮像部が実際に撮像する視点とは異なる仮想視点からの画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。 - 前記オブジェクト画像加工手段は、前記オブジェクト、それ以外の実物体又は仮想物体に配置された前記仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記撮像部が実際に撮像する視点は、当該撮像部の光軸方向であり、前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項3又は4に記載の画像処理装置。 - 前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
をさらに備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする請求項1乃至6のうち何れか1項に記載の画像処理装置。 - 前記仮想視点の配置候補となる前記実物体又は仮想物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする請求項2乃至5のうち何れか1項に記載の画像処理装置。 - 前記仮想視点は、移動速度が0の前記実物体又は仮想物体に配置されたもの、及び、前記実物体又は仮想物体として移動物体に配置されたもの、のうちのいずれかである、
ことを特徴とする請求項2に記載の画像処理装置。 - 画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。 - 表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
撮像画像を撮像する1つのみの撮像部及び前記撮像画像のデータを送信する送信部を備え、姿勢変化をしながら当該画像処理装置とは独立に移動し得る1つのみのオブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得処理と、
前記オブジェクト画像取得処理により逐次取得された前記オブジェクト画像のデータを、当該オブジェクト画像のデータ以外の撮像画像を使用することなく加工することで、当該オブジェクトの備える前記撮像部が実際に撮像する視点とは異なる仮想視点からの画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工処理と、
前記オブジェクト画像加工処理により生成された前記視点変換画像のデータを出力する制御を実行する出力制御処理と、
を含む画像処理方法。 - 画像処理装置を制御するコンピュータに、
撮像画像を撮像する1つのみの撮像部及び前記撮像画像のデータを送信する送信部を備え、姿勢変化をしながら当該画像処理装置とは独立に移動し得る1つのみのオブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能により逐次取得された前記オブジェクト画像のデータを、当該オブジェクト画像のデータ以外の撮像画像を使用することなく加工することで、当該オブジェクトの備える前記撮像部が実際に撮像する視点とは異なる仮想視点からの画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011217561A JP5957838B2 (ja) | 2011-09-30 | 2011-09-30 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011217561A JP5957838B2 (ja) | 2011-09-30 | 2011-09-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013078037A JP2013078037A (ja) | 2013-04-25 |
JP2013078037A5 JP2013078037A5 (ja) | 2014-10-23 |
JP5957838B2 true JP5957838B2 (ja) | 2016-07-27 |
Family
ID=48481185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011217561A Active JP5957838B2 (ja) | 2011-09-30 | 2011-09-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5957838B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6218220B2 (ja) * | 2013-08-05 | 2017-10-25 | 国立大学法人電気通信大学 | 撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム |
JP6514386B1 (ja) * | 2018-03-29 | 2019-05-15 | 株式会社スクウェア・エニックス | プログラム、記録媒体及び画像生成方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2687989B2 (ja) * | 1992-06-12 | 1997-12-08 | 株式会社セガ・エンタープライゼス | 電子遊戯機器 |
JPH06176131A (ja) * | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
JP3918518B2 (ja) * | 2001-11-09 | 2007-05-23 | ソニー株式会社 | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 |
JP2003199085A (ja) * | 2001-12-28 | 2003-07-11 | Sony Corp | コンテンツ配信システム,事業者サーバ装置,端末装置,プログラム,記録媒体,コンテンツ配信方法 |
JP4379594B2 (ja) * | 2004-05-28 | 2009-12-09 | 株式会社国際電気通信基礎技術研究所 | 追体験空間生成装置 |
JP2007043225A (ja) * | 2005-07-29 | 2007-02-15 | Univ Of Electro-Communications | 撮像画像処理装置及び撮像画像処理方法 |
JP2007104234A (ja) * | 2005-10-04 | 2007-04-19 | Canon Inc | 撮像装置 |
JP2009101718A (ja) * | 2007-10-19 | 2009-05-14 | Toyota Industries Corp | 映像表示装置及び映像表示方法 |
JP2009301350A (ja) * | 2008-06-13 | 2009-12-24 | Kyocera Mita Corp | 仮想映像表示システム及び仮想映像表示方法 |
-
2011
- 2011-09-30 JP JP2011217561A patent/JP5957838B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013078037A (ja) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5927856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5340895B2 (ja) | 画像データ作成支援装置および画像データ作成支援方法 | |
JP5754439B2 (ja) | 情報報知装置、情報報知方法及びプログラム | |
US10382704B2 (en) | Image processing device that generates a composite image | |
JP2005100367A (ja) | 画像生成装置、画像生成方法、及び画像生成プログラム | |
CN105450911B (zh) | 图像处理装置、图像处理方法 | |
JP6060965B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
CN102111542A (zh) | 图像处理设备、成像设备、图像处理方法和程序 | |
KR101703924B1 (ko) | 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템 | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20170278288A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
KR102239134B1 (ko) | 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템 | |
WO2012002149A1 (ja) | 画像処理方法及び装置 | |
WO2017154953A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
CN103327235A (zh) | 图像处理装置以及图像处理方法 | |
JP5957838B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010130084A (ja) | 画像処理装置及びプログラム | |
JP7487464B2 (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
JP6218220B2 (ja) | 撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム | |
JP7282519B2 (ja) | 画像処理装置または画像処理サーバー | |
JP6787072B2 (ja) | 画像処理装置、解析システム、画像処理方法及びプログラム | |
JP7188422B2 (ja) | 画像処理装置、解析システム、画像処理方法及びプログラム | |
JP7476160B2 (ja) | 情報処理装置、情報処理システム、及びプログラム | |
JP5741062B2 (ja) | 画像処理装置及び画像処理方法、並びにプログラム | |
JP5790710B2 (ja) | 画像処理装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5957838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |