JP6392737B2 - Optical apparatus and imaging system - Google Patents
Optical apparatus and imaging system Download PDFInfo
- Publication number
- JP6392737B2 JP6392737B2 JP2015235175A JP2015235175A JP6392737B2 JP 6392737 B2 JP6392737 B2 JP 6392737B2 JP 2015235175 A JP2015235175 A JP 2015235175A JP 2015235175 A JP2015235175 A JP 2015235175A JP 6392737 B2 JP6392737 B2 JP 6392737B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- virtual viewpoint
- mirror
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、被写体を撮影するために用いる光学装置及び撮像システムに関する。 The present invention relates to an optical device and an imaging system used for photographing a subject.
近年、周囲３６０度を含む全天の画像である全天球画像を撮影できるカメラ（以下、全天球カメラという。）およびその全天球画像の視聴において利用者が向いた方向を視聴することができるヘッドマウントディスプレイ（ＨＭＤ）が普及し始めている。そして、ネットワークを介して全天球画像を配信するサービスが注目を集めている。上記のような全天球画像は、ＨＭＤで視聴することで高い臨場感を得ることができ、スポーツやアーティストのライブ等のコンテンツの視聴における利用が期待されている。 In recent years, a camera capable of capturing a omnidirectional image, which is a omnidirectional image including 360 degrees around (hereinafter referred to as a omnidirectional camera), and viewing the direction in which the user is facing in viewing the omnidirectional image. Head mounted displays (HMD) that can be used are beginning to spread. And, a service that distributes omnidirectional images via a network is attracting attention. The omnidirectional image as described above can provide a high sense of realism when viewed with an HMD, and is expected to be used for viewing content such as sports and live performances by artists.
一般に、これらの全天球画像は、所望の視点に全天球カメラを設置することで撮影することができる。しかしながら、競技中のサッカーコートの中やバスケットコートの中は、全天球カメラを設置しようとすると競技者の邪魔となるため、全天球カメラを設置することができない。しかし、競技中のサッカーコートの中やバスケットコートの中に立っているかのような映像を視聴してみたいという要望がある。そこで、通常では全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、仮想視点を含む領域を撮影する複数のカメラを設置し、それらのカメラからの画像を合成することにより、この仮想視点において全天球カメラで撮影したかのような全天球画像を得る技術が考案されている（例えば、非特許文献１）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像という。 Generally, these omnidirectional images can be taken by installing an omnidirectional camera at a desired viewpoint. However, it is not possible to install a omnidirectional camera in a soccer court or a basketball court during competition because it would interfere with the competitors if an omnidirectional camera is installed. However, there is a desire to watch videos as if standing in a soccer court or basketball court during competition. Therefore, a virtual viewpoint, which is a virtual viewpoint, is usually set in a place where an omnidirectional camera cannot be installed, and multiple cameras that shoot an area including the virtual viewpoint are installed, and images from these cameras are displayed. Has been devised to obtain an omnidirectional image as if it was taken with an omnidirectional camera at this virtual viewpoint (for example, Non-Patent Document 1). In the following description, the omnidirectional image at the virtual viewpoint is referred to as a virtual omnidirectional image.
仮想全天球画像を複数のカメラからの画像の合成によって得る画像処理システムの具体例について説明する。図１２は、従来の仮想全天球画像を得るための画像処理システムを示す図である。図１２に示すように、画像処理システム１は、全天球カメラ２と、Ｎ台の複数のカメラ３−１、３−２、３−３、…、３−Ｎ（以下、カメラ群３とする。）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラ群３からの画像の合成によって仮想視点１１における仮想全天球画像を得る。
A specific example of an image processing system for obtaining a virtual omnidirectional image by combining images from a plurality of cameras will be described. FIG. 12 is a diagram illustrating an image processing system for obtaining a conventional virtual omnidirectional image. As shown in FIG. 12, the
全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、試合が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。
The
コート１０の周囲には、Ｎ台の複数のカメラ群３が設置されている。図１２においてＮは４以上の自然数である。カメラ群３は、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲に設置されている。画像処理装置４は、背景画像２０に対して合成するため各カメラ群３が出力する入力画像に対して画像処理を行う。画像処理装置４は、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成して仮想全天球画像を生成する。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ等である。
Around the
画像処理システム１における画像処理の具体例を説明する。図１３は、画像処理システム１における画像処理される画像の具体例を示す図である。図１３（Ａ）は、仮想視点１１の位置に設置された全天球カメラ２で撮影された背景画像２０の例を示す図である。仮想視点１１を中心とする３６０度の画像となっている。背景画像２０は、競技開始前に撮影される画像であるのでコート１０内に競技を行う選手等は映っていない。
A specific example of image processing in the
図１３（Ｂ）は、左からカメラ３−１で撮影した入力画像２１と、カメラ３−２で撮影した入力画像２２と、カメラ３−３で撮影した入力画像２３とを示している。画像処理装置４は、入力画像２１〜２３のそれぞれから仮想視点１１を含み、かつ、フットサルの選手を含む領域２１１、２２１、２３１を切り出す。画像処理装置４は、切り出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に貼り付け可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。
FIG. 13B shows an
画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することで、仮想全天球画像２４を生成する。図１３（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１３（Ｃ）に示すように、仮想全天球画像２４は、所定の領域に部分画像２１１ａ、２２１ａ、２３１ａを貼り付けているので、コート１０上で競技を行っているフットサルの選手が映っている画像である。
The image processing device 4 generates the virtual
従来の画像処理システム１は、合成に用いているカメラ群３の光学中心および仮想視点１１において想定する仮想全天球カメラの光学中心はそれぞれ異なる。このため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行きの一点で整合性が保たれるよう画像処理を行い背景画像２０に貼り付ける必要がある。しかしながら、整合性が保たれる奥行きに存在せずに別の奥行に存在している物体（例えば、競技中の選手）の部分画像を貼り付ける場合には、画像処理により奥行きの整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。
In the conventional
以下に、図面を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図１４は、画像処理システム１における課題を説明するための図である。図１４において、撮影範囲４１は、カメラ３−１の撮影範囲の一部であって図１３（Ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲の一部であって図１３（Ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲の一部であって図１３（Ｂ）に示した領域２３１の撮影範囲を示す。すなわち、撮影範囲４１〜４３は、入力画像から切り出す切り出し領域に対応する撮影範囲を示している。また、仮想視点１１からの距離（奥行）が異なる３つの被写体（選手）４９〜５１が存在する。
Hereinafter, a phenomenon in which an image of an object is duplicated or disappeared in the virtual
図１４において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体４９である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体５０となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体５１となる。
In the
仮想全天球画像２４において、物体の画像が分身したり、消失したりする問題を解決する一つの方法として、カメラ群３の設置数を仮想全天球画像の画素数と同じ数だけ設置する方法がある。しかし、カメラの数が膨大となるので現実的な解決方法ではない。
In the virtual
上記事情に鑑み、本発明は、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供する光学装置及び撮像システムを提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide an optical device and an imaging system that provide a virtual omnidirectional image in which the deterioration of image quality is suppressed while suppressing the number of cameras installed around a virtual viewpoint. .
本発明の一態様は、仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した撮像装置からの画像に基づいて作成する場合に用いられる光学装置であって、前記仮想視点の位置を焦点とする凸レンズと、前記凸レンズから入射される光線を前記撮像装置へ反射し、前記撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有する反射部と、を備える光学装置である。 One embodiment of the present invention is an optical that is used when creating a virtual image as if taken at a virtual viewpoint, which is a virtual viewpoint, based on an image from an imaging device installed at a position other than the virtual viewpoint. A convex lens having a focal point at the position of the virtual viewpoint and a light beam incident from the convex lens to the imaging device, and an ellipse or paraboloid having a focal point at the optical center of the imaging device. And a reflecting portion having a mirror surface with a shape along the shape.
本発明の一態様は、前記の光学装置であって、前記反射部の前記鏡面は、前記撮像装置の画角に応じた大きさである。 One aspect of the present invention is the above-described optical device, wherein the mirror surface of the reflecting portion has a size corresponding to a field angle of the imaging device.
本発明の一態様は、前記の光学装置であって、前記楕円に沿った前記鏡面は、複数の平面鏡により構成される。 One aspect of the present invention is the above-described optical device, wherein the mirror surface along the ellipse includes a plurality of plane mirrors.
本発明の一態様は、前記の光学装置であって、前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、をさらに備える。 One aspect of the present invention is the above-described optical device, wherein the plurality of planar drive mirrors that adjust angles and positions of the plurality of plane mirrors and a mirror surface that approximates the circumference of an ellipse having an arbitrary curvature are formed. A mirror control unit that controls the mirror driving unit to adjust the angle and position of the plane mirror.
本発明の一態様は、前記の光学装置と、前記撮像装置と、を備える撮像システムである。 One embodiment of the present invention is an imaging system including the optical device and the imaging device.
本発明の一態様は、前記の光学装置と、前記撮像装置と、前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、を備える撮像システムである。 According to one aspect of the present invention, when the plurality of plane mirrors form a mirror surface that approximates the circumference of an ellipse having an arbitrary curvature according to the control from the optical device, the imaging device, and the mirror control unit. And a drive unit that adjusts the position of the imaging device so that the optical center of the imaging device is located at the second focal point of the ellipse.
本発明の一態様は、前記の撮像システムであって、前記撮像装置及び前記光学装置による撮影方向を調整する方向駆動部と、前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、をさらに備える。 One aspect of the present invention is the above-described imaging system, wherein the direction driving unit that adjusts the imaging direction of the imaging device and the optical device, and the ellipse first focus is positioned at the virtual viewpoint. A direction control unit that controls the direction driving unit.
本発明により、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供することができる。 According to the present invention, it is possible to provide a virtual omnidirectional image in which deterioration of image quality is suppressed while suppressing the number of cameras installed around the virtual viewpoint.
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システムの概略を示す図である。図１に示す画像処理システム１Ａにおいて、図１２に示した従来の画像処理システム１と同じ構成には、同一符号を付しており、説明を簡略化する。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing an outline of an image processing system according to the first embodiment. In the
図１に示すように、画像処理システム１Ａは、全天球カメラ２と、ｍ台の複数のカメラシステム６−１、６−２、６−３、…、６−ｍ（以下、カメラシステム群６とする。）と、画像処理装置３０と、表示装置５とを備える。画像処理システム１Ａは、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラシステム群６からの画像の合成によって仮想視点１１における仮想全天球画像を得る。
As shown in FIG. 1, the
全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。全天球カメラ２は、競技中も仮想視点１１に設置したままだと競技の支障となるため、競技開始前に仮想視点１１の位置から取り除かれる。
The
コート１０の周囲には、ｍ台の複数のカメラシステム群６が設置されている。カメラシステム群６の各カメラシステム６−１、６−２、６−３、…、６−ｍは、背景画像２０に対して合成する入力画像を動画で撮影するカメラシステムであり、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲を取り囲むように設置されている。ｍは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであればコート１０が大きいほど大きな値となり、コート１０の大きさが同じであれば仮想全天球画像の画質を高いものにしようとするほど大きな値となる。
A plurality of m
画像処理装置３０は、各カメラシステム群６からの入力画像に対して画像処理を施して、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成する処理を行う。表示装置５は、画像処理装置３０で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）等である。
The
表示装置５がＨＭＤである場合、図１には示していないが画像処理装置３０から映像信号等を受信する受信部と、受信部を介して受信した映像信号を表示する液晶ディスプレイや有機ＥＬディスプレイ等で構成される画面と、視聴者の頭の動きを検出する検出部とを備える。ＨＭＤの画面に表示される映像は、仮想全天球画像に基づいた仮想全天球映像の一部であり視野と呼ぶ。ＨＭＤは、検出部が検出した視聴者の頭の動きに応じて表示する映像の範囲である視野を変更する機能を有する。
When the
頭を上下左右に動かすことに応じて視聴している映像が変化するので、ＨＭＤを頭に装着した視聴者は、仮想視点１１の位置から競技を見ているかのような映像を視聴することができる。このように、ＨＭＤを装着した視聴者は、あたかも仮想視点１１に立って競技を観戦しているかのような臨場感のある映像を視聴することができる。
Since the video being viewed changes as the head moves up, down, left, and right, the viewer wearing the HMD can view the video as if watching the competition from the position of the
次に、カメラシステム群６の構成例について説明する。図２は、第１の実施形態におけるカメラシステム群６の構成例を示す図である。カメラシステム６−１は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−１と、放物面の形状をした鏡面を有し凸レンズＬ−１からの平行光を反射する放物面鏡Ｍ−１と、放物面鏡Ｍ−１の放物面の焦点に配置され放物面鏡Ｍ−１が反射する光線を受光するカメラＣ−１とを備える。放物面鏡Ｍ−１の軸と凸レンズＬ−１の軸は一致している。１つの放物面鏡Ｍ−１に対して、凸レンズＬ−１及びカメラＣ−１はそれぞれ１つずつ設置されている。凸レンズＬ−１の位置は光軸方向に可変であり、凸レンズＬ−１の焦点の位置にある仮想視点１１を移動させることができる。なお、凸レンズＬ−１は、複数のレンズから構成されるものであってもよい。
Next, a configuration example of the
カメラシステム６−２は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−２と、放物面の形状をした鏡面を有し凸レンズＬ−２からの平行光を反射する放物面鏡Ｍ−２と、放物面鏡Ｍ−２の放物面の焦点に配置され放物面鏡Ｍ−２が反射する光線を受光するカメラＣ−２とを備える。カメラシステム６−３は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−３と、放物面の形状をした鏡面を有し凸レンズＬ−３からの平行光を反射する放物面鏡Ｍ−３と、放物面鏡Ｍ−３の放物面の焦点に配置され放物面鏡Ｍ−３が反射する光線を受光するカメラＣ−３とを備える。上述した放物面鏡Ｍ−１の軸と凸レンズＬ−１の軸の関係及び放物面鏡Ｍ−１に対する凸レンズＬ−１及びカメラＣ−１の対応関係は、カメラシステム６−２、６−３についても同様である。
The camera system 6-2 includes a convex lens L-2 that has a focal point at the position of the
図２に示すように、カメラシステム６−１〜６−３は、凸レンズの物体側の焦点からでた光線は凸レンズに入射すると屈折して凸レンズの光軸と平行な光線となるという性質と、放物面の軸に平行に入射した光線は、全て放物面の焦点に集まるという性質とを利用して、仮想視点１１からの光線を効率的にカメラＣ−１〜Ｃ−３に集光している。これにより、カメラシステム６−１〜６−３は、仮想視点１１を視点とする撮影範囲１２−１〜１２−３に示す範囲をそれぞれ撮影することができる。各カメラシステム群６で撮影される入力画像は、所定のフレーム周期を有する動画像であり、各フレームには撮影時間が関連付けられている。なお、図２は、カメラシステム６−１〜６−３の３台のみ示しているが、他のカメラシステム６−４〜６−ｍについても同様の構成である。
As shown in FIG. 2, the camera systems 6-1 to 6-3 have the property that light rays emitted from the focal point on the object side of the convex lens are refracted and become parallel to the optical axis of the convex lens when entering the convex lens Utilizing the property that all rays incident parallel to the paraboloid axis are collected at the focal point of the paraboloid, the rays from the
次に、第１の実施形態における画像処理システム１Ａの画像処理装置３０の構成例について説明する。
図３は、第１の実施形態における画像処理装置３０の構成例を示す図である。図３に示すように、画像処理装置３０は、画像入力部３１と、画像合成部３２と、表示処理部３３と、各カメラシステム群６が撮影した入力画像を格納する入力画像格納部３０１と、背景画像２０を格納する背景画像格納部３０２と、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルを格納する対応情報テーブル３０３とを備える。
Next, a configuration example of the
FIG. 3 is a diagram illustrating a configuration example of the
入力画像格納部３０１は、カメラシステム群６内の各カメラシステムを特定するカメラコードに関連付けて各カメラシステム群６で撮影した入力画像を格納する。入力画像は、撮影時刻と関連付けられた動画の画像データを含むものである。入力画像格納部３０１は、例えば、カメラシステム６−１で撮影した入力画像を、カメラシステム６−１を特定するカメラコードに関連付けて格納する。
The input
背景画像格納部３０２は、全天球カメラ２で撮影した全天球画像である背景画像２０を格納する。背景画像格納部３０２は、例えば、コート１０内の仮想視点１１に設置した全天球カメラ２で撮影した図１３（Ａ）に示す背景画像２０を格納する。格納する背景画像２０は、１フレーム分の画像データでも所定時間分の動画の画像データでもよい。所定時間分の画像データを格納する場合は、背景画像２０において周期的に変化する部分（例えば電光掲示板が映っている部分があり、かつ、電光掲示板の表示内容が周期的に変化している部分。）があれば、その周期に応じた時間分の画像データを背景画像２０として格納すればよい。
The background
画像処理装置３０が全天球カメラ２から背景画像２０を取得する構成はどのような構成であってもよい。例えば、画像処理装置３０が全天球カメラ２と有線又は無線で通信可能な通信部を備えて、その通信部を介して背景画像２０を取得する構成であってもよい。また、全天球カメラ２に着脱可能な記録媒体を用いて当該記録媒体に背景画像２０を記録して、記録後の記録媒体を画像処理装置３０に接続して、画像処理装置３０が記録媒体から背景画像２０を読み出す構成により、背景画像２０を取得する構成であってもよい。また、画像処理装置３０が、カメラシステム群６から入力画像を取得する構成も全天球カメラ２の場合と同様にどのような構成であってもよい。
The configuration in which the
画像入力部３１は、入力画像格納部３０１から入力画像を取得し、背景画像格納部３０２から背景画像２０を取得して、入力画像及び背景画像２０を画像合成部３２へ出力する。画像合成部３２は、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成することで仮想全天球画像を生成する。
The
ここで、対応情報テーブル３０３に格納する入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する。図４は、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する図である。図４に示すように、点光源５４を全天球カメラ２及びカメラシステム６−１で撮影することでテーブルを取得する。なお、説明を簡単にするため図４では、カメラシステム６−１の処理のみを示しているが、他のカメラシステム６−２〜６−ｍにおいても同様の処理を行う。
Here, a method for acquiring a table indicating the correspondence between each pixel of the input image stored in the correspondence information table 303 and each pixel of the
まず、コート１０内の仮想視点１１に全天球カメラ２を設置して、図２に示したカメラシステム６−１の撮影範囲１２−１内で点光源５４を点灯する。図４において撮像面５７は、全天球カメラ２において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光は、全天球カメラ２において撮像面５７の画素５７Ａで受光される。全天球カメラ２は、点光源５４を撮影した全天球画像５５を出力する。図４に示すように、仮想視点１１における全天球画像５５には、画素５５Ａに点光源５４の光が写っている。全天球画像５５の画素５５Ａは、撮像面５７の画素５７Ａに対応する画素である。点光源５４を移動させて撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。撮影を終えると全天球カメラ２を仮想視点１１から取り去る。
First, the
次に、カメラシステム６−１は、撮影範囲１２−１内で点灯する点光源５４を撮影して、画像５６を出力する。図４において、撮像面５８は、カメラＣ−１において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光線は、仮想視点１１を通過して凸レンズＬ−１で屈折され、放物面鏡Ｍ−１で反射されてカメラＣ−１において撮像面５８の画素５８Ａで受光される。図４に示すように、カメラシステム６−１で撮影した画像５６には、画素５６Ａに点光源５４の光が写っている。画像５６の画素５６Ａは、撮像面５８の画素５８Ａに対応する画素である。全天球カメラ２の時と同様に、点光源５４を移動させてカメラシステム６−１の撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。点光源５４を点灯させる位置とその順番は、全天球カメラ２の時と同じとする。
Next, the camera system 6-1 captures the point light source 54 that is lit within the capturing range 12-1, and outputs an
以上の処理により、同じ位置で点灯させた点光源５４が写っている画素を対応させることで、入力画像の各画素と全天球画像（＝背景画像２０）の各画素との対応関係を示すテーブルを作成する。図５は、入力画像の各画素と全天球画像の各画素との対応関係を示す対応情報テーブル３０３の具体例を示す図である。図５に示すように、全天球画像の各画素の識別子ｑｊ（ｊ＝１〜Ｎｑ）及び画素アドレスを示すｑ１：（０、０）、ｑ２：（０、１）、…、ｑＮｑ：（３８３９、１９１９）と、カメラシステム群６の識別子Ｓｉ（ｉ＝１〜Ｍ）及び識別子Ｓｉで特定されるカメラシステムからの入力画像の画素アドレスを示すＳ１、（１００、５０）、Ｓ１、（１００、５２）、…、Ｓｍ、（１００、２００）とを対応させている。
Through the above processing, the correspondence between the pixels of the input image and the pixels of the omnidirectional image (= background image 20) is shown by associating the pixels in which the point light source 54 lit at the same position appears. Create a table. FIG. 5 is a diagram showing a specific example of the correspondence information table 303 indicating the correspondence between each pixel of the input image and each pixel of the omnidirectional image. As shown in FIG. 5, the identifier qj (j = 1 to Nq) of each pixel of the omnidirectional image and q1: (0, 0), q2: (0, 1),..., QNq :( 3839, 1919), S1, (100, 50), S1, (100) indicating the pixel address of the input image from the camera system specified by the identifier Si (i = 1 to M) of the
識別子Ｓ１、Ｓ２、…、Ｓｍは、カメラシステム６−１、６−２、…、６−ｍを特定する識別子である。図５に示した対応情報テーブル３０３は、全天球画像の全画素に対してカメラシステム群６の入力画像の画素との対応情報を格納したが、これに限定されるものではない。例えば、対応情報テーブル３０３は、全天球画像の一部の画素に対してのみカメラシステム群６の入力画像の画素との対応情報を格納してもよい。例えば、全天球画像において、カメラシステム群６が対応していない領域があれば、その領域の対応情報は格納する必要がない。このような対応情報テーブル３０３を備えることで、カメラシステム群６に備えられる放物面鏡Ｍ−１〜Ｍ−ｍの鏡面が理想的な放物面から多少ずれた曲率であったり、放物面鏡Ｍ−１〜Ｍ−ｍ間で鏡面の曲率がばらついたりしても生成する全天球画像の画質への影響を抑えることができる。
Identifiers S1, S2,..., Sm are identifiers that identify the camera systems 6-1, 6-2,. Although the correspondence information table 303 illustrated in FIG. 5 stores correspondence information between the pixels of the input image of the
次に、画像合成部３２における、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付ける処理について説明する。図６は、画像合成部３２における合成処理を示すフロー図である。画像合成部３２は、背景画像２０の各画素ｑｊに関するループを開始する（ステップＳ１０１）。具体的には、画像合成部３２は、背景画像２０の画素ｑ１の処理から画素ｑＮｑまでの処理のループを開始する。
Next, processing for pasting the value of each pixel of the input image as the value of the corresponding pixel of the
画像合成部３２は、対応情報テーブル３０３を参照して、背景画像２０の画素ｑｊに対応するカメラシステムの識別子Ｓｉ及び識別子Ｓｉのカメラシステムで撮影した入力画像の画素アドレスを特定し、特定した画素アドレスの画素の値を、背景画像２０の画素ｑｊの値とする（ステップＳ１０２）。画像合成部３２は、背景画像２０の画素ｑＮｑ対する処理を終えたか否かを判断することで、ループを終了させるか否かを判断する（ステップＳ１０３）。ここで画素ｑＮｑ対する処理を終えていなければ、画像合成部３２は、ステップＳ１０１に戻り、画素ｑＮｑ対する処理を終えていれば合成処理を終了する。以上の処理により、画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する。
The
表示処理部３３は、画像合成部３２が出力する仮想全天球画像を表示装置５において表示可能な映像信号に変換して出力する。仮想全天球画像は、図１３（Ｃ）に示した通り、歪みを含む画像であり、かつ、仮想視点１１を中心とする３６０度の景色を含む画像であるので、表示処理部３３は、仮想全天球画像から表示装置５に表示させる範囲の画像を切り出して、切り出した画像の歪みを補正する機能を有する。
The
画像処理装置３０は、入力画像格納部３０１及び背景画像格納部３０２を備える構成としたが、これに限定されるものではない。例えば、入力画像格納部３０１及び背景画像格納部３０２を備える画像格納装置を別に設け、画像処理装置３０は、画像格納装置から入力画像格納部３０１及び背景画像格納部３０２を取得する構成であってもよい。また、画像処理装置３０は、入力画像格納部３０１を備えずに、カメラシステム群６から入力される入力画像をリアルタイムで取得して、取得した入力画像を順次処理する構成としてもよい。
The
次に、画像処理システム１Ａにおいて仮想全天球画像を作成する動作について説明する。図７は、第１の実施形態における画像処理装置３０が仮想全天球画像を作成する動作を示すフロー図である。図７に示す動作は、入力画像に基づいて各撮影時刻における仮想全天球画像を生成する処理の前に、予め対応情報テーブル３０３を取得する処理、背景画像２０を取得して背景画像格納部３０２に格納する処理及び入力画像を取得して入力画像格納部３０１に格納する処理も含まれる。
Next, an operation for creating a virtual omnidirectional image in the
仮想視点１１に全天球カメラ２を設置し、点光源５４を全天球画像の各画素に対応する位置に所定の順番で移動させて、移動先の各位置で点灯してその全天球画像を撮影する（ステップＳ２０１）。全天球カメラ２を仮想視点１１から取り去って、カメラシステム群６の各カメラシステムは、点光源５４をステップＳ２０１の時と同じ位置、同じ順番で移動させて、移動先の各位置で点灯してその画像をする。具体的には、カメラシステム群６の各カメラシステムは、自身の撮影範囲に点光源５４が存在する場合に、画像の撮影を行う。同じ位置で点灯させた点光源５４が写っている画素を対応させることで、全天球画像の各画素ｑｊと識別子Ｓｉで特定されるカメラシステムで撮影され入力画像の画素との対応関係を示すテーブルである対応情報テーブル３０３を作成する（ステップＳ２０２）。
The
仮想視点１１に全天球カメラ２が設置され、全天球カメラ２は、背景画像２０を撮影する（ステップＳ２０３）。撮影された背景画像２０は、背景画像格納部３０２に格納される。次に、全天球カメラ２を仮想視点１１から取り去った後に、例えばコート１０おける競技開始と共に、カメラシステム群６は入力画像の撮影を開始する（ステップＳ２０４）。これにより、画像処理装置３０は、カメラシステム群６が撮影した入力画像を入力画像格納部３０１に格納する。
The
画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する（ステップＳ２０５）。
The
以上に説明したように、第１の実施形態における画像処理装置３０は、放物面鏡を備えカメラシステム群６を用いて所定の撮影範囲からの仮想視点１１を通る光線に基づく被写体像を撮影して入力画像を取得し、この入力画像を背景画像２０に合成して仮想全天球画像を生成することができる。これにより、第１の実施形態における画像処理装置３０は、仮想全天球画像に含まれる被写体において分身が起こったり、消失が起こったりすることを抑制し、かつ、カメラシステム群６に含まれる各カメラシステムを所定の撮影範囲が重ならない間隔で設置することができる。すなわち、第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置するカメラシステムの数を抑制し、かつ、画質の劣化を抑制した仮想全天球画像を得ることができる。第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置する限られた数のカメラシステムの中で、より精度の高い仮想全天球画像を得ることができる。
As described above, the
上述した画像処理システム１Ａの動作の変形例として、カメラシステム群６で撮影した入力画像をリアルタイムで背景画像２０に合成して仮想全天球画像を生成する動作について説明する。リアルタイムで仮想全天球画像を生成する場合、画像処理システム１Ａは、図７の処理において、ステップＳ２０１〜Ｓ２０３までの処理を事前に行い、ステップＳ２０４、Ｓ２０５の処理をリアルタイムで行う。リアルタイムで仮想全天球画像を生成するとは、例えば、入力画像が１秒間に６０フレームを有する動画像であれば、画像処理システム１Ａが、その動画像の入力画像を処理して、１秒間に６０フレームを有する仮想全天球画像を生成することである。
As a modification of the operation of the
ここで、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（ｍ個）との関係について説明する。図８は、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（ｍ個）との関係について説明する図である。図８では、凸レンズＬ−１と、放物面鏡Ｍ−１と、カメラＣ−１とを備えるカメラシステム６−１を例に挙げて説明する。
Here, the relationship between the wide shooting range of each camera system in the
図８に示すように、凸レンズＬ−１の半径をｒとし、凸レンズの焦点距離をｆとする。また、凸レンズＬ−１の焦点ｆ１から凸レンズの両端へ入射する光線がなす角を角度θとすると、角度θは以下の（式１）で表される。
そして、カメラＣ−１の実質的な画角は、上記（式１）で求めた角度θである。撮影範囲の大きさが角度θであるカメラシステム６−１の個数は、背景画像２０に対して合成したい範囲が角度θａである場合に、以下の（式２）を満たす個数ｍである。なお、（式２）において、θｉとはカメラシステム６−ｉ（１≦ｉ≦ｍ）の撮影範囲を示す。（式２）に示すように、背景画像２０に対して合成したい範囲の角度θａの値が大きくなれば、カメラシステム６−１の個数ｍの値も大きくなる。
（第２の実施形態）
第２の実施形態におけるカメラシステムの構成例について説明する。図２等に示した第１の実施形態におけるカメラシステム群６の各カメラシステムの放物面鏡にはカメラが写り込んでいる領域がある。これに対して、第２の実施形態におけるカメラシステムは、各カメラシステムの放物面鏡においてカメラが写り込む領域を無くす（カメラが写り込まない領域のみ残す）構成としたものである。これにより、放物面鏡の軽量化および小型化を図ることができる。
(Second Embodiment)
A configuration example of the camera system in the second embodiment will be described. The parabolic mirror of each camera system of the
図９は、第２の実施形態におけるカメラシステム６−１Ａの構成例を示す図である。カメラシステム６−１Ａは、凸レンズＬ−１と、カメラＣ−１と、欠損部９０を有する放物面鏡Ｍ−１Ａとを具備する。放物面鏡Ｍ−１Ａの欠損部９０は、図２に示した放物面鏡Ｍ−１においてカメラＣ−１が写り込む領域に穴をあけることで形成することができる。また、放物面鏡Ｍ−１Ａは、更に図９の光軸から上半分又は下半分の領域を取り除いた構成としてもよく、目的とする撮影範囲に応じた領域に放物面となる鏡面を備える構成であればよい。
FIG. 9 is a diagram illustrating a configuration example of the camera system 6-1A in the second embodiment. The camera system 6-1A includes a convex lens L-1, a camera C-1, and a parabolic mirror M-1A having a
なお、カメラシステム６−１Ａは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ａの凸レンズＬ−１〜Ｌ−Ｍの物体側（放物面鏡Ｍ−１Ａと反対側）の焦点は仮想視点１１の位置に一致する。第２の実施形態におけるカメラシステム６−１Ａを図１に示す画像処理システム１Ａに適用することで、画像処理システム１Ａの軽量化及び小型化を実現することができる。
In addition, as shown in FIG. 1, m camera systems 6-1A are arranged around the
（第３の実施形態）
第３の実施形態におけるカメラシステムの構成例について説明する。図２等に示した第１の実施形態におけるカメラシステム群６の各カメラシステムは放物面鏡を用いている。これに対して、第３の実施形態におけるカメラシステムは、楕円の一部と同じ曲率の曲面を有して光線を反射する楕円鏡を用いて較正したものである。これにより、仮想視点の位置をより柔軟に設定することができる。
(Third embodiment)
A configuration example of the camera system according to the third embodiment will be described. Each camera system of the
図１０は、第３の実施形態におけるカメラシステム６−１Ｂの構成例を示す図である。カメラシステム６−１Ｂは、凸レンズＬ−１ａ、Ｌ−１ｂと、カメラＣ−１と、楕円鏡Ｍ−１Ｂとを具備する。楕円鏡Ｍ−１Ｂの軸と、凸レンズＬ−１ａ、Ｌ−１ｂの軸は一致している。カメラＣ−１は、楕円鏡Ｍ−１Ｂの第１の焦点の位置に設置されている。楕円鏡Ｍ−１Ｂの第２の焦点は、凸レンズＬ−１ａの焦点と同じ位置ｆ０である。凸レンズＬ−１ｂの焦点は、仮想視点１１と同じ位置ｆ１である。
FIG. 10 is a diagram illustrating a configuration example of a camera system 6-1B according to the third embodiment. The camera system 6-1B includes convex lenses L-1a and L-1b, a camera C-1, and an elliptical mirror M-1B. The axis of the elliptical mirror M-1B and the axes of the convex lenses L-1a and L-1b coincide. The camera C-1 is installed at the position of the first focus of the elliptical mirror M-1B. The second focus of the elliptical mirror M-1B is the same position f 0 and the focus of the convex lens L-1a. The focus of the convex lens L-1b is the same position f 1 and the
凸レンズＬ−１ａと凸レンズＬ−１ｂとの間の距離をｄｉとし、楕円鏡Ｍ−１Ｂに基づく楕円の中心をＯとし、楕円鏡Ｍ−１Ｂの焦点距離をｆとし、凸レンズＬ−１ａの焦点距離をｆ０とし、凸レンズＬ−１ｂの焦点距離をｆ１とする。仮想視点１１から中心Ｏまでの距離は、ｆ＋ｆ０＋ｄｉ＋ｆ１で求まる。すなわち、これらの各ｆ、ｆ０、ｄｉ、ｆ１の値を調整することで、仮想視点１１の位置を調整することができる。
The distance between the convex lens L-1a and the convex lens L-1b is di, the center of the ellipse based on the elliptical mirror M-1B is O, the focal length of the elliptical mirror M-1B is f, and the focal point of the convex lens L-1a distance and f 0, the focal length of the convex lens L-1b and f 1. The distance from the
楕円鏡Ｍ−１Ｂの焦点距離ｆについては、本実施形態では固定であるが、後述する第４の実施形態に記載の構成とすることで調整することができる。凸レンズＬ−１ａの焦点距離ｆ０と、凸レンズＬ−１ｂの焦点距離ｆ１とは、凸レンズＬ−１ａ、Ｌ−１ａの製造時に任意の焦点距離を設定することができる。なお、凸レンズＬ−１ａ、Ｌ−１ａの焦点距離を可変とする構成とすれば、製造後も焦点距離を変更可能である。凸レンズＬ−１ａと凸レンズＬ−１ｂとの間の距離をｄｉは、凸レンズＬ−１ａ又は凸レンズＬ−１ｂを光軸方向に移動可能とする構成とすれば変更可能となる。 The focal length f of the elliptical mirror M-1B is fixed in this embodiment, but can be adjusted by adopting the configuration described in the fourth embodiment to be described later. The focal length f 0 of the convex lens L-1a, the focal length f 1 and the convex lens L-1b, can be a convex lens L-1a, in the production of L-1a sets an arbitrary focal length. In addition, if it is set as the structure which makes the focal distance of the convex lenses L-1a and L-1a variable, a focal distance can be changed after manufacture. The distance di between the convex lens L-1a and the convex lens L-1b can be changed if the convex lens L-1a or the convex lens L-1b is configured to be movable in the optical axis direction.
ここで、カメラシステム群６における各カメラシステム６−１Ｂの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステム６−１Ｂの設置個数（ｍ個）との関係について説明する。カメラＣ−１の画角をθ０、カメラシステム６−１Ｂの撮影範囲をθ１、楕円鏡Ｍ−１Ｂの焦点距離をｆ、凸レンズＬ−１ａの焦点距離をｆ０、凸レンズＬ−１ｂの焦点距離をｆ１として、楕円鏡Ｍ−１Ｂに基づく楕円の中心を原点とするｘｙ座標において、カメラＣ−１の画角θ０とカメラシステム６−１Ｂの撮影範囲θ１は、以下の（式３）、（式４）で表すことができる。
撮影範囲の大きさが角度θ１であるカメラシステム６−１Ｂの個数は、背景画像２０に対して合成したい範囲が角度θである場合に、以下の（式５）を満たす個数ｍである。なお、（式５）において、θ１ ｉとはカメラシステム６−ｉＢ（１≦ｉ≦ｍ）の撮影範囲を示す。（式５）に示すように、背景画像２０に対して合成したい範囲の角度θの値が大きくなれば、カメラシステム６−１Ｂの個数ｍの値も大きくなる。
なお、カメラシステム６−１Ｂは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ｂの凸レンズＬ−１ｂ〜Ｌ−Ｍｂの物体側（楕円鏡Ｍ−１Ｂと反対側）の焦点は仮想視点１１の位置に一致する。第３の実施形態におけるカメラシステム６−１Ｂを図１に示す画像処理システム１Ａに適用することで、画像処理システム１Ａがコート１０内に設定する仮想視点１１の位置を柔軟に変更することができる。
In addition, as shown in FIG. 1, m camera systems 6-1B are arranged around the
（第４の実施形態）
第４の実施形態におけるカメラシステムの構成例について説明する。図１０に示した第３の実施形態におけるカメラシステム６−１Ｂの楕円鏡Ｍ−１Ｂの曲率は固定である。これに対して、第４の実施形態におけるカメラシステムは、楕円鏡の曲率を変更可能に構成したものである。これにより、楕円鏡の鏡面に基づく楕円の焦点の位置を変更することができる。そして、楕円鏡の焦点距離ｆを変更することで、凸レンズＬ−１ａ、Ｌ−１ｂの先にある仮想視点１１の位置を変更することができる。
(Fourth embodiment)
A configuration example of the camera system in the fourth embodiment will be described. The curvature of the elliptical mirror M-1B of the camera system 6-1B in the third embodiment shown in FIG. 10 is fixed. On the other hand, the camera system in the fourth embodiment is configured so that the curvature of the elliptical mirror can be changed. Thereby, the position of the focal point of the ellipse based on the mirror surface of the elliptical mirror can be changed. And the position of the
図１１は、第４の実施形態におけるカメラシステム６−１Ｂａの構成例を示す図である。カメラシステム６−１Ｂａは、カメラＣ−１ａ、焦点位置を変更可能な楕円鏡Ｍ−１Ｂａ及び撮影方向を駆動する撮影方向駆動部８４を備えるカメラ部８５と、撮影方向駆動部８４に対して撮影方向を制御する信号を出力するカメラ制御部８６とを具備する。カメラＣ−１ａは、駆動部８３により図１１に示す矢印方向（カメラＣ−１ａの光軸方向）に位置を変更することができる。駆動部８３は、楕円鏡Ｍ−１Ｂａの焦点位置の変更に応じて、カメラＣ−１ａの位置を変更する。
FIG. 11 is a diagram illustrating a configuration example of a camera system 6-1Ba according to the fourth embodiment. The camera system 6-1 Ba has a
楕円鏡Ｍ−１Ｂａは、平面鏡８０−１〜８０−５と、平面鏡８０−１〜８０−５のそれぞれに設けられ各平面鏡８０−１〜８０−５の角度及び位置を変更する鏡駆動部８１−１〜８１−５と、鏡駆動部８１−１〜８１−５に対して、平面鏡８０−１〜８０−５により第１の焦点（カメラシステム６−１Ｂａ側の焦点）が所望の位置となる曲率の楕円を近似する配置となるよう制御信号を出力する鏡制御部８２とを備える。楕円鏡Ｍ−１Ｂａが近似する楕円の第１の焦点が変更されると、第２の焦点（凸レンズＬ−１ａの焦点と重なっている焦点）までの距離も変更される。仮想視点１１の位置で複数のカメラシステム６−１Ｂａ〜６−ｍＢａの凸レンズＬ−１ｂの焦点が重なるように、カメラ制御部８６は、カメラ部８５の撮影方向を制御する。
The elliptical mirror M-1Ba is provided in each of the plane mirrors 80-1 to 80-5 and the plane mirrors 80-1 to 80-5, and a mirror driving unit 81 that changes the angles and positions of the plane mirrors 80-1 to 80-5. -1 to 81-5 and the mirror driving units 81-1 to 81-5, the first focus (focus on the camera system 6-1Ba side) is set to a desired position by the plane mirrors 80-1 to 80-5. And a
なお、カメラシステム６−１Ｂａは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ｂａの凸レンズＬ−１ｂの焦点は仮想視点１１の位置に一致する。第４の実施形態におけるカメラシステム６−１Ｂａを用いることで、カメラシステム６−１Ｂａから仮想視点１１までの距離を任意の距離に変更することができる。
As shown in FIG. 1, m camera systems 6-1Ba are arranged around the
なお、カメラシステム６−１Ｂａの楕円鏡Ｍ−１Ｂａにおいて、鏡面の楕円への近似の精度を変更するため平面鏡８０−１〜８０−５の数を変えてもよい。平面鏡の数を増やして個々の平面鏡のサイズを小さくするほど、楕円への近似の精度が高くなる。 In the elliptical mirror M-1Ba of the camera system 6-1Ba, the number of plane mirrors 80-1 to 80-5 may be changed in order to change the accuracy of approximation of the mirror surface to the ellipse. The accuracy of approximation to an ellipse increases as the number of plane mirrors increases and the size of each plane mirror decreases.
上述した第１の実施形態の画像処理システム１Ａは、仮想視点１１に設置した全天球カメラ２で撮影した全天球画像を背景画像２０としたが、仮想視点１１に広角で撮影可能な広角カメラを設置して撮影した広角画像を背景画像２０としてもよい。このような場合は、画像処理システム１Ａは、広角画像である背景画像２０に対して部分画像を合成することで仮想広角画像を生成する。ただし、仮想広角画像に写る範囲は、仮想全天球画像に比べて狭い範囲となる。
In the
上述した第１の実施形態の画像処理システム１Ａは、全天球カメラ２を含む構成としたが、背景画像２０となる全天球画像を得ることができる構成であれば、全天球カメラ２を含まない構成でもよい。上述した第１の実施形態の画像処理装置３０は、入力画像格納部３０１と、背景画像格納部３０２とを備える構成としたが、これに限定されるものではない。入力画像格納部３０１及び背景画像格納部３０２を備える装置を別に設けて、画像処理装置３０は、その装置から入力画像及び背景画像２０を取得する構成でもよい。
The
上述した第１の実施形態における画像処理装置３０が備える各機能部及び第４の実施形態におけるカメラシステム６−１ａが備える鏡制御部８２及びカメラ制御部８６は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
Each functional unit included in the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
本発明の光学装置及び撮像システムは、サッカー等のスポーツの映像やコンサート、ライブなどの映像のように、様々な奥行きのオブジェクト（人など）がシーン内に存在する映像を仮想全天球映像として視聴者に視聴させるシステムを構築する場合に用いることができる。 The optical device and the imaging system of the present invention use, as a virtual celestial sphere image, an image in which objects (such as people) of various depths exist in a scene, such as an image of sports such as soccer, an image of concerts, and live performances. This can be used to construct a system that allows viewers to view.
１Ａ…画像処理システム， ２…全天球カメラ， ６…カメラシステム群， ６−１〜６−ｍ、６−１Ａ、６−１Ｂ、６−１Ｂａ…カメラシステム， ４、３０…画像処理装置， ５…表示装置， ２０…背景画像， ３１…画像入力部， ３２…画像合成部， ３３…表示処理部， ８０−１〜８０−５…平面鏡， ８１−１〜８１−５…鏡駆動部， ８２…鏡制御部， ８３…駆動部， ８４…撮影方向駆動部， ８５…カメラ部， ８６…カメラ制御部， ３０１…入力画像格納部， ３０２…背景画像格納部， ３０３…対応情報テーブル， Ｃ−１、Ｃ−２、Ｃ−３、Ｃ−１ａ…カメラ，Ｌ−１、Ｌ−２、Ｌ−３、Ｌ−１ａ、Ｌ−１ｂ…凸レンズ， Ｍ−１、Ｍ−２、Ｍ−３、Ｍ−１ａ…放物面鏡（反射部）， Ｍ−１Ｂ、Ｍ−１Ｂａ…楕円鏡（反射部）
DESCRIPTION OF
Claims (8)
前記仮想視点の位置を焦点とする凸レンズと、
前記複数の撮像装置のうち自装置に対応する１つの撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有し、前記凸レンズを介して前記仮想視点から入射される光線を前記鏡面によって反射して自装置に対応する前記撮像装置へ入射させる反射部と、
を備え、
前記仮想視点の位置を中心とする球面上に配置される前記複数の撮像装置のそれぞれに１つずつ設けられる、
光学装置。 An optical device used when creating a virtual image as if taken at a virtual viewpoint, which is a virtual viewpoint, based on images from a plurality of imaging devices installed at positions other than the virtual viewpoint,
A convex lens focusing on the position of the virtual viewpoint;
Have a mirror surface of said plurality of shape along the elliptical or parabolic and the focal position of the optical center of one imaging device corresponding to the own device in the imaging device, incident from the virtual viewpoint through said convex lens A reflecting portion that reflects the reflected light beam by the mirror surface and enters the imaging device corresponding to the device itself ;
Equipped with a,
One is provided for each of the plurality of imaging devices arranged on a spherical surface centered on the position of the virtual viewpoint.
Optical device.
任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、
をさらに備える請求項３に記載の光学装置。 A mirror driver for adjusting the angle and position of the plurality of plane mirrors;
A mirror control unit that controls the mirror driving unit to adjust the angle and position of the plurality of plane mirrors so as to form a mirror surface that approximates the circumference of an ellipse of an arbitrary curvature;
The optical device according to claim 3, further comprising:
前記仮想視点の位置を焦点とする凸レンズと、A convex lens focusing on the position of the virtual viewpoint;
複数の平面鏡により構成される鏡面であって、前記撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有し、前記凸レンズから入射される光線を前記撮像装置へ反射する反射部と、A mirror surface composed of a plurality of plane mirrors, having a mirror surface with a shape along an ellipse or a paraboloid focusing on the position of the optical center of the imaging device, and incident light from the convex lens to the imaging device A reflective part that reflects to
前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、A mirror driver for adjusting the angle and position of the plurality of plane mirrors;
任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、A mirror control unit that controls the mirror driving unit to adjust the angle and position of the plurality of plane mirrors so as to form a mirror surface that approximates the circumference of an ellipse of an arbitrary curvature;
を備える光学装置。An optical device comprising:
前記撮像装置と、
を備える撮像システム。 An optical device according to any one of claims 1 to 5 ,
The imaging device;
An imaging system comprising:
前記撮像装置と、
前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、
を備える撮像システム。 An optical device according to claim 4 or 5 ,
The imaging device;
When the plurality of plane mirrors form a mirror surface that approximates the circumference of an ellipse having an arbitrary curvature in accordance with control from the mirror control unit, the optical center of the imaging device is located at the second focal point of the ellipse. A drive unit for adjusting the position of the imaging device,
An imaging system comprising:
前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、
をさらに備える請求項７に記載の撮像システム。 A direction driving unit that adjusts a photographing direction by the imaging device and the optical device;
A direction control unit that controls the direction driving unit so that the first focal point of the ellipse is located at the virtual viewpoint;
The imaging system according to claim 7 , further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015235175A JP6392737B2 (en) | 2015-12-01 | 2015-12-01 | Optical apparatus and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015235175A JP6392737B2 (en) | 2015-12-01 | 2015-12-01 | Optical apparatus and imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017103612A JP2017103612A (en) | 2017-06-08 |
| JP6392737B2 true JP6392737B2 (en) | 2018-09-19 |
Family
ID=59017596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015235175A Active JP6392737B2 (en) | 2015-12-01 | 2015-12-01 | Optical apparatus and imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6392737B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0965247A (en) * | 1995-08-22 | 1997-03-07 | Olympus Optical Co Ltd | Image display device |
| JP3847927B2 (en) * | 1997-11-18 | 2006-11-22 | キヤノン株式会社 | Arc tube and light source device using the same |
| JP2006011103A (en) * | 2004-06-28 | 2006-01-12 | Yokogawa Electric Corp | Spherical mirror imaging apparatus |
| JP2010019924A (en) * | 2008-07-08 | 2010-01-28 | Alpine Electronics Inc | Photographing apparatus |
-
2015
- 2015-12-01 JP JP2015235175A patent/JP6392737B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017103612A (en) | 2017-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11176707B2 (en) | Calibration apparatus and calibration method | |
| US9838668B2 (en) | Systems and methods for transferring a clip of video data to a user facility | |
| CN106797460B (en) | The reconstruction of 3 D video | |
| US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
| US11721040B2 (en) | Imaging system, calibration method, and calibrator | |
| US20200034989A1 (en) | Imaging system, calibration method, and calibrator | |
| US8102395B2 (en) | Display apparatus, image processing apparatus and image processing method, imaging apparatus, and program | |
| JP6496093B1 (en) | Exposure control of 3D 360 degree virtual reality camera | |
| WO2017086263A1 (en) | Image processing device and image generation method | |
| US11756279B1 (en) | Techniques for depth of field blur for immersive content production systems | |
| CN107439002B (en) | Depth imaging | |
| WO2019039378A1 (en) | Information processing device and image display method | |
| CN108600729B (en) | Dynamic 3D model generation device and image generation method | |
| CN105898139A (en) | Panoramic video production method and device and panoramic video play method and device | |
| CN105812640A (en) | Spherical omni-directional camera device and video image transmission method thereof | |
| JP6392737B2 (en) | Optical apparatus and imaging system | |
| CN108737808B (en) | 3D model generation device and method | |
| JP6392736B2 (en) | Optical apparatus and imaging system | |
| CN108513122B (en) | Model adjusting method and model generating device based on 3D imaging technology | |
| US11137582B2 (en) | Omnidirectional catadioptric lens with odd aspheric contour or multi-lens | |
| US11792511B2 (en) | Camera system utilizing auxiliary image sensors | |
| CN107003601B (en) | Omnidirection refracting-reflecting lens structure | |
| Routhier | Virtually perfect: Factors affecting the quality of a VR experience and the need for a VR content quality standard | |
| TW202036369A (en) | Image processing apparatus and method thereof | |
| EP3229070B1 (en) | Three-dimensional, 360-degree virtual reality camera exposure control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180823 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6392737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |