JP7231281B2 - 広角映像提供方法 - Google Patents
広角映像提供方法 Download PDFInfo
- Publication number
- JP7231281B2 JP7231281B2 JP2021509710A JP2021509710A JP7231281B2 JP 7231281 B2 JP7231281 B2 JP 7231281B2 JP 2021509710 A JP2021509710 A JP 2021509710A JP 2021509710 A JP2021509710 A JP 2021509710A JP 7231281 B2 JP7231281 B2 JP 7231281B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- wide
- angle
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 70
- 238000012937 correction Methods 0.000 claims description 151
- 230000004075 alteration Effects 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 235000015842 Hesperis Nutrition 0.000 description 5
- 235000012633 Iberis amara Nutrition 0.000 description 5
- 230000007123 defense Effects 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 239000013585 weight reducing agent Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Description
本発明の実施形態は、広角映像提供方法に関するものである。
一般に、ＣＣＴＶカメラは、一般家庭の防犯用として使用するために、またはデパート、銀行、展示場などの場所では、侵入、盗難や火災などを事前に予防し、もし事故が発生しても迅速に対応するために設置される。
特に、このようＣＣＴＶカメラシステムは、特殊な目的のために特定の場所に設置され、すべての状況を監視するために、遠隔地からの映像をモニタリングするための目的で使用されるものであり、前記ＣＣＴＶカメラは、可能な広い範囲を監視することができるよう、通常は、建物の壁面上部や天井に設置されて特定の方向に向かってセッティングされているのが一般的である。
しかしながら、このようにＣＣＴＶなどに使用されるカメラは、一般的に画角が３０°～７０°であり、撮影範囲が限られているため、死角があり、このような死角を減らすために、魚眼レンズ（ｆｉｓｈ－ｅｙｅ ｌｅｎｓ）などの広角レンズ（ｗｉｄｅ－ａｎｇｌｅ ｌｅｎｓ）を使用している。
しかし、広角レンズ（ｗｉｄｅ－ａｎｇｌｅ ｌｅｎｓ）を搭載したカメラは、標準レンズを用いたときに比べて、焦点距離が短く、視野（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ：Ｆｏｖ）が広いという特性があり、取得した映像に放射状の歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）が発生してオブジェクトの歪み現象が発生する。
また、従来技術によるパノラマカメラが撮影した映像は、位置歪みが発生するという問題がある。
本発明は、前述した問題を解決するために案出されたものであり、本発明に係る広角映像提供システムは、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供し、且つ、歪み（歪曲）のない広角映像を提供して映像をＶＲ形式で出力することができ、映像を縮小または拡大しても歪みが発生しないようにする。
また、本発明に係る広角映像提供システムは、モバイル用カメラ、ＣＣＴＶ用カメラ、Ｗｅｂカメラなどの様々なカメラモジュールを用い、専用プログラムまたは専用モバイルアプリケーションを使用して補正することにより広角映像を提供しようとする。
また、本発明に係る広角映像提供システムは、自動車、ドローン、モバイル、カメラ、船舶、ロケット、医療、防衛、家庭、レジャーなどのカメラが使用される産業全般に適用可能な広角映像提供方法及びシステムを提供しようとする。
前述した問題を解決するための本発明の一実施形態に係る広角映像提供方法は、第１のカメラモジュールが第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュールが第１の領域に隣接する第２の領域を撮影した第２の領域映像を生成する撮影ステップと；歪み補正部が前記第１及び第２の領域映像をそれぞれ歪み補正する歪み補正ステップと；位相差補正部が前記歪み補正した第１及び第２の領域映像をそれぞれ位相差補正する位相差補正ステップと；重畳補正部が前記位相差補正した第１及び第２の領域映像を互いに隣接するように重ね合わせて補正する重畳補正ステップと；色補正部が前記重ね合わせて補正した第１及び第２の領域画像を色補正する色補正ステップと；を含む。
本発明の他の一実施形態によれば、前記歪み補正ステップでは、前記歪み補正部が前記第１及び第２の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正ステップでは、前記位相差補正部が前記第１及び第２の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１及び第２の領域映像の位置を調整し、前記重畳補正ステップでは、前記重畳補正部が前記第１及び第２の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正ステップでは、前記色補正部が前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
本発明の他の一実施形態によれば、前記撮影ステップでは、前記第１のカメラモジュール及び前記第２のカメラモジュールのそれぞれの撮影面を、互いに１１０°～１３５°の角度で配置して前記第１及び第２の領域映像を生成することができる。
また、本発明の他の一実施形態に係る広角映像提供方法は、第１のカメラモジュールが第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュールが第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成し、第３のカメラモジュールが前記第１の領域の下側に隣接する第３の領域を撮影した第３の領域映像を生成し、第４のカメラモジュールが前記第２の領域の下側及び前記第３の領域の右側に隣接する第４の領域を撮影した第４の領域映像を生成する撮影ステップと；歪み補正部が前記第１、第２、第３及び第４の領域映像をそれぞれ歪み補正する歪み補正ステップと；位相差補正部が前記歪み補正した第１、第２、第３及び第４の領域映像をそれぞれ位相差補正する位相差補正ステップと；重畳補正部が前記位相差補正した第１、第２、第３及び第４の領域映像を互いに隣接するように重ね合わせて補正する重畳補正ステップと；色補正部が前記重ね合わせて補正した第１、第２、第３及び第４の領域映像を色補正する色補正ステップと；を含む。
本発明の他の一実施形態によれば、前記歪み補正ステップでは、前記歪み補正部が前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正ステップでは、前記位相差補正部が前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整し、前記重畳補正ステップでは、前記重畳補正部が前記第１、第２、第３及び第４の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正ステップでは、前記色補正部が前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
本発明の他の一実施形態によれば、前記撮影ステップは、前記第１、第２、第３及び第４のカメラモジュールが互いになす角度を調整するステップをさらに含んでいてもよい。
また、本発明の他の一実施形態に係る広角映像提供方法は、第１のカメラモジュールが第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュールが第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成し、第３のカメラモジュールが前記第１の領域の反対側である第３の領域を撮影した第３の領域映像を生成し、第４のカメラモジュールが前記第２の領域の反対側であり、前記第３の領域の右側に隣接する第４の領域を撮影した第４の領域映像を生成する撮影ステップと；歪み補正部が前記第１、第２、第３及び第４の領域映像をそれぞれ歪み補正する歪み補正ステップと；位相差補正部が前記歪み補正した第１、第２、第３及び第４の領域映像をそれぞれ位相差補正する位相差補正ステップと；重畳補正部が前記位相差補正した第１、第２、第３及び第４の領域映像を互いに隣接するように重ね合わせて補正する重畳補正ステップと；色補正部が前記重ね合わせて補正した第１、第２、第３及び第４の領域映像を色補正する色補正ステップと；を含む。
本発明の他の一実施形態によれば、前記歪み補正ステップでは、前記歪み補正部が前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正ステップでは、前記位相差補正部が前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整し、前記重畳補正ステップでは、前記重畳補正部が前記第１、第２、第３及び第４の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正ステップでは、前記色補正部が前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
本発明の他の一実施形態によれば、前記撮影ステップは、前記第１及び第２のカメラモジュールが互いになす角度を調整するステップと；前記第３及び第４のカメラモジュールが互いになす角度を調整するステップと；をさらに含んでいてもよい。
本発明の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができる。
また、本発明の実施形態によれば、歪みのない広角映像を提供して映像をＶＲ形式で出力することができ、映像を縮小または拡大しても歪みが発生しない。
また、本発明の実施形態によれば、モバイル用カメラ、ＣＣＴＶ用カメラ、Ｗｅｂカメラなどの様々なカメラモジュールを用い、専用プログラムまたは専用モバイルアプリケーションを使用して補正することにより広角映像を提供することができる。
さらに、本発明の実施形態によれば、自動車、ドローン、モバイル、カメラ、船舶、ロケット、医療、防衛、家庭、レジャーなどのカメラが使用される産業全般に適用することにより、広画角の映像を提供することができる。
以下、添付図面を参照して好ましい本発明の一実施形態について詳細に説明する。但し、実施形態を説明するに当たり、関連する公知の機能又は構成についての具体的な説明が本発明の要旨を不要に曖昧にするおそれがあると判断される場合には、その詳細な説明を省略する。また、図面において、各構成要素のサイズは説明のために誇張することがあり、実際に適用されるサイズを意味するものではない。
図１は、本発明の一実施形態に係る広角映像提供システムの構成図である。以下、図１を参照して、本発明の一実施形態に係る広角映像提供システムの構成について説明する。
図１に示すように、本発明の一実施形態に係る広角映像提供システムは、第１のカメラモジュール１１０、第２のカメラモジュール１２０、補正処理部１３０及び映像保存部１４０を含んで構成されてもよく、また、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
第１のカメラモジュール１１０は、第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュール１２０は、前記第１の領域に隣接する第２の領域を撮影した第２の領域映像を生成する。
より具体的には、前記第１のカメラモジュール１１０は、撮影しようとする領域の左側（ｌｅｆｔ）に対応する領域を撮影することによって左側映像である第１の領域映像を生成することができ、前記第２のカメラモジュール１２０は、撮影しようとする領域の右側（ｒｉｇｈｔ）に対応する領域を撮影することによって右側映像である第２の領域映像を生成することができる。
このとき、前記第１のカメラモジュール１１０及び前記第２のカメラモジュール１２０のそれぞれの撮影面は、互いに１１０°～１３５°の角度で配置されて、前記第１のカメラモジュール１１０及び前記第２カメラモジュール１２０で撮影された映像は、左右１８０°～２００°および上下９０°～１１０°の画角を有する映像であり得る。
このように、前記第１及び第２のカメラ１１０、１２０で撮影された映像には、広角歪み及び遠近歪みがあり、２台のカメラを用いて撮影した映像を隣接するように重ね合わせる場合には、位相差、重畳領域、明暗差または色収差が発生する。
したがって、補正処理部１３０は、このように映像の歪み、位相差、重畳領域、明暗差または色収差などを補正する。すなわち、前記補正処理部１３０は、前記第１及び第２のカメラ１１０、１２０で撮影された第１及び第２の領域映像をそれぞれ歪み補正及び位相差補正し、前記位相差補正した第１及び第２の領域映像を重畳補正及び色補正する。
より具体的には、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
前記歪み補正部１３１は、第１のカメラモジュール１１０で撮影された第１の領域映像の歪みを補正し、位相差補正部１３２は、前記歪み補正した第１及び第２の領域映像をそれぞれ位相差補正する。また、重畳補正部１３３は、前記位相差補正した第１及び第２の領域映像を互いに隣接するように重ね合わせて補正し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像を色補正することができる。
より詳細には、前記歪み補正部１３１は、前記第１及び第２の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正部１３２は、前記第１及び第２の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１及び第２の領域映像の位置を調整し、前記重畳補正部１３３は、前記第１及び第２の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
映像保存部１４０は、このように補正処理部１３０によって補正されて合成された映像を保存することができる。
したがって、本発明の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができる。
図２は、本発明の一実施形態に係る広角映像提供方法を説明するためのフローチャートであり、図３は、本発明の一実施形態に係る第１及び第２のカメラの撮影領域を説明するための図である。
また、図４～図８は、本発明の一実施形態に係る広角映像提供方法を説明するための第１及び第２の領域映像の補正過程を説明するための図である。
以下、図２～図８を参照して、本発明の一実施形態に係る広角映像提供方法について説明する。
まず、図２に示すように、左側カメラ（ｌｅｆｔ ｃａｍｅｒａ）に対応する第１のカメラモジュールは、第１の領域を撮影した第１の領域映像を生成して抽出し（Ｓ２１０）、右側カメラ（ｒｉｇｈｔ ｃａｍｅｒａ）に対応する第２のカメラモジュールは、第１の領域に隣接する第２の領域を撮影した第２の領域映像を生成して抽出する（Ｓ２１１）。
このように抽出された第１及び第２の領域映像には、遠近歪み及び広角歪みが含まれている。したがって、歪み補正部は、歪み定数（Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｎｓｔａｎｔ）を参照して、前記第１及び第２の領域映像のそれぞれの広角歪み及び遠近歪みを補正する（Ｓ２２０、Ｓ２２１）。
図４は、このように広角歪み及び遠近歪みが補正された第１及び第２の領域映像を示す。
その後、前記位相差補正部は、位相差定数（Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ｃｏｎｓｔａｎｔ）を参照して、前記広角歪み及び遠近歪みが補正された前記第１及び第２の領域映像の水平基準点を抽出した後、図５に示すように、座標回転移動を行い、前記第１及び第２の領域映像の位置を調整し（Ｓ２３０、Ｓ２３１）、前記座標回転移動及び位置調整された第１及び第２の領域映像をそれぞれ保存する（Ｓ２３５、Ｓ２３６）。
その次、重畳補正部は、重畳定数（Ｏｖｅｒｌａｐ Ｃｏｎｓｔａｎｔ）を参照して、前記保存された第１及び第２の領域映像のサイズを調整した後、座標移動して、図６に示すように、重なり合うように位置調整する（Ｓ２４０）。
図３を参照すると、位置調整により重なり合う映像は、第１のカメラモジュール１１０が第１の領域を撮影した第１の領域映像１１１と、第２のカメラモジュール１２０が第２の領域を撮影した第２領域映像１２１とからなり、互いに重畳領域３０１が発生し、このような重畳領域３０１は、それぞれ第１のカメラモジュールの補正領域１１２と第２のカメラモジュールの補正領域１２２とに区分される。
色補正部は、図７に示すように、重ね合わせて補正した重畳映像に対して、色定数（Ｃｏｌｏｒ Ｃｏｎｓｔａｎｔ）を参照して明るさ及び色収差を調整して、図８に示すように、第１及び第２の領域映像が重なり合って合成された映像を生成して保存し（Ｓ２５０、Ｓ２５５）、このように保存された合成映像を出力することができる（Ｓ２６０）。
図９及び図１０は、本発明の一実施形態に係る第１及び第２のカメラの配置位置を示す図であり、図１１及び図１２は、本発明の一実施形態に係る第１及び第２のカメラの配置位置によるカメラの撮影配置角度を示す図である。
また、図１３～図１５は、本発明の一実施形態に係る広角映像提供方法を補正するための補正ブースを示す図である。
以下、図９～図１２を参照して、本発明の一実施形態に係る第１及び第２のカメラの配置によるカメラの撮影角度について説明する。
図９に示すように、第１及び第２のカメラが地面に垂直な壁などの側面に配置される場合、図１１に示すように、第１及び第２のカメラの撮影面は互いに１１０°～１３５°の角度で配置され、前記第１及び第２のカメラと壁は２７°～３５°の角度で配置されて、当該側面（壁）を除くその他の領域の映像を提供することができる。
また、図１０に示すように、第１及び第２のカメラが天井などの場所のように地面を向くように配置される場合、図１２に示すように、第１及び第２のカメラの撮影面は互いに１１０°～１３５°の角度で配置され、両側面の全ての面の画像と、前記残りの両側面の一部面の映像とを提供することができる。
図１３は、本発明の一実施形態に係る広角歪み及び遠近歪みを補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示し、図１４は、本発明の一実施形態に係る重畳映像を補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示す。
また、図１５は、本発明の一実施形態に係る領域映像の明るさ及び色収差を補正するための補正ブースを示す。
したがって、本発明の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができ、歪みのない広角映像を提供して映像をＶＲ形式で出力することができ、映像を縮小または拡大しても歪みが発生しない。
さらに、本発明の実施形態によれば、自動車、ドローン、モバイル、カメラ、船舶、ロケット、医療、防衛、家庭、レジャーなどのカメラが使用される産業全般に適用することにより、広画角の映像を提供することができる。
図１６は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの斜視図であり、図１７は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの展開図であり、図１８は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの配置及び角度調整方法を説明するための図である。
図１６及び図１７を参照すると、本発明の一実施形態に係る第１のカメラモジュール１１０は、第１のレンズモジュール１１１、第１のイメージセンサモジュール１１２及び第１の構造体１１３を含んで構成される。
第１のイメージセンサモジュール１１２は、前記第１のレンズモジュール１１１を介して第１の領域を撮影した第１の領域映像を生成し、第１の構造体１１３は、前記第１のレンズモジュール１１１及び前記第１のイメージセンサモジュール１１２を収納するように構成されてもよい。
同様に、第２のカメラモジュール１２０は、第２のレンズモジュール１２１、第２のイメージセンサモジュール１２２及び第２の構造体１２３を含んで構成され、第２のイメージセンサモジュール１２２は、前記第２のレンズモジュール１２１を介して第２の領域を撮影した第２の領域映像を生成し、第２の構造体１２３は、前記第２のレンズモジュール１２１及び前記第１のイメージセンサモジュール１２２を収納するように構成されてもよい。
この場合、前記第１及び第２の構造体１１３、１２３は、軽量化のためにアルミフレームで構成されてもよい。
また、第１及び第２のリンク部１１５、１２５は、前記第１及び第２のカメラモジュール１１０、１２０の各一方の側にそれぞれ結合され、円形板１５０は、固定板１６０に固定されてモータによって回転し、前記円形板１５０は、各前記第１及び第２のリンク部１１５、１２５が結合されて移動する曲線溝１５１を含むように構成されてもよい。
これにより、第１及び第２のカメラモジュール１１０、１２０は、各前記一方の側に対向する各他方の側が互いにヒンジ結合する構造を有し、前記第１及び第２のリンク部１１５、１２５は、前記円形板１５０の回転により前記曲線溝１５１を移動して、前記第１及び第２のカメラモジュール１１０、１２０によって形成される角度を調整することができる。
このような第１及び第２のカメラモジュール１１０、１２０間の角度を調整する際には、モータを制御して円形板１５０を回転させて、第１及び第２のカメラモジュール１１０、１２０間の角度を調整し、ズームイン及びズームアウトにより最適の映像撮影角度を得ることができる。
一方、図１８を参照すると、第１及び第２のカメラモジュール１１０、１２０の画角に応じて前記第１及び第２のカメラモジュール１１０、１２０の角度を決定することができる。
（ここで、αは各第１及び第２のカメラモジュールが床面となす角度であり、ａは第１及び第２のカメラモジュールの水平画角である。）
（ここで、βは各第１及び第２のカメラモジュールのイメージモジュールの角度であり、ｂは第１及び第２のカメラモジュールの垂直画角である。）
本発明の一実施形態によれば、図１６及び図１８に示すように、第１及び第２のカメラモジュール１１０、１２０の配置の際に、式１を用いて、各第１及び第２のカメラモジュール１１０、１２０が床面となす角度を計算することができ、式２を用いて、各第１及び第２のカメラモジュール１１０、１２０のイメージモジュール１１２、１２２の角度を計算して適用することができる。
図１９は、本発明の他の一実施形態に係る広角映像提供システムの構成図である。以下、図１９を参照して、本発明の他の一実施形態に係る広角映像提供システムの構成について説明する。
図１９に示すように、本発明の他の一実施形態に係る広角映像提供システムは、第１のカメラモジュール１１０、第２のカメラモジュール１１５、第３のカメラモジュール１２０、第４のカメラモジュール１２５、補正処理部１３０及び映像保存部１４０を含んで構成されてもよく、また、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
第１のカメラモジュール１１０は、第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュール１１５は、前記第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成し、第３のカメラモジュール１２０は、前記第１の領域の下側に隣接する第３の領域を撮影した第３の領域映像を生成し、第４のカメラモジュール１２５は、前記第２の領域の下側及び前記第３の領域の右側に隣接する第４の領域を撮影した第４の領域映像を生成する。
より具体的には、前記第１のカメラモジュール１１０は、撮影しようとする領域の左上（ｕｐ ｌｅｆｔ）に対応する領域を撮影して、左上の映像である第１の領域映像を生成することができ、前記第２のカメラモジュール１１５は、撮影しようとする領域の右上（ｕｐ ｒｉｇｈｔ）に対応する領域を撮影して、右上の映像である第２の領域映像を生成することができる。同様に、前記第３のカメラモジュール１２０は、撮影しようとする領域の左下（ｄｏｗｎ ｌｅｆｔ）に対応する領域を撮影して、左下の映像である第３の領域映像を生成することができ、前記第４のカメラモジュール１２５は、撮影しようとする領域の右下（ｄｏｗｎ ｒｉｇｈｔ）に対応する領域を撮影して、右下の映像である第４の領域映像を生成することができる。
このように、前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５で撮影された映像には、広角歪み及び遠近歪みがあり、４台のカメラを用いて撮影した映像を隣接するように重ね合わせる場合は、位相差、重畳領域、明暗差または色収差が発生する。
したがって、補正処理部１３０は、このように映像の歪み、位相差、重畳領域、明暗差または色収差などを補正する。すなわち、前記補正処理部１３０は、前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５で撮影された第１、第２、第３及び第４の領域映像をそれぞれ歪み補正及び位相差補正し、前記位相差補正した第１、第２、第３及び第４の領域映像を重畳補正及び色補正する。
より具体的には、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
前記歪み補正部１３１は、第１、第２、第３及び第４の領域映像の歪みを補正し、位相差補正部１３２は、前記歪み補正した第１、第２、第３及び第４の領域映像をそれぞれ位相差補正する。また、重畳補正部１３３は、前記位相差補正した第１、第２、第３及び第４の領域映像を互いに隣接するように重ね合わせて補正し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像を色補正することができる。
より詳細には、前記歪み補正部１３１は、前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正部１３２は、前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整し、前記重畳補正部１３３は、前記第１、第２、第３及び第４の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
映像保存部１４０は、このように補正処理部１３０によって補正されて合成された映像を保存することができる。
したがって、本発明の実施形態によれば、画角が左右２００°及び上下２００°で死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができる。
図２０は、本発明の他の一実施形態に係る広角映像提供方法を説明するためのフローチャートであり、図２１～図２５は、本発明の他の一実施形態に係る広角映像提供方法を説明するための第１、第２、第３及び第４の領域映像の補正過程を説明するための図である。
以下、図２０～図２５を参照して、本発明の他の一実施形態に係る広角映像提供方法について説明する。
まず、図２０に示すように、左上（ｕｐ ｌｅｆｔ）のカメラに対応する第１のカメラモジュールは、第１の領域を撮影した第１の領域映像を生成して抽出し（Ｓ２１０）、右上（ｕｐ ｒｉｇｈｔ）のカメラに対応する第２のカメラモジュールは、第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成して抽出する（Ｓ２１１）。
また、左下（ｄｏｗｎ ｌｅｆｔ）のカメラに対応する第３のカメラモジュールは、第３の領域を撮影した第３の領域映像を生成して抽出し（Ｓ２１２）、右下（ｄｏｗｎ ｒｉｇｈｔ）のカメラに対応する第４のカメラモジュールは、前記第２の領域の下側及び第３領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成して抽出する（Ｓ２１３）。
このように抽出された第１、第２、第３及び第４の領域映像には、遠近歪み及び広角歪みが含まれている。したがって、歪み補正部は、歪み定数（Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｎｓｔａｎｔ）を参照して、前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪み及び遠近歪みを補正する（Ｓ２２０、Ｓ２２１、Ｓ２２２、Ｓ２２３）。
図２１は、このように広角歪み及び遠近歪みが補正された第１、第２、第３及び第４の領域映像を示す。
その後、前記位相差補正部は、位相差定数（Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ｃｏｎｓｔａｎｔ）を参照して、前記広角歪み及び遠近歪みが補正された前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、図２２に示すように、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整する（Ｓ２３０）。
その次、重畳補正部は、重畳定数（Ｏｖｅｒｌａｐ Ｃｏｎｓｔａｎｔ）を参照して、前記保存された第１、第２、第３及び第４の領域映像のサイズを調整した後、座標移動して、図２３に示すように、前記第１、第２、第３及び第４の領域映像の間で重なり合うように位置調整する（Ｓ２４０）。
色補正部は、図２４に示すように、重ね合わせて補正した重畳映像に対して、色定数（Ｃｏｌｏｒ Ｃｏｎｓｔａｎｔ）を参照して明るさ及び色収差を調整して、図２５に示すように、第１、第２、第３及び第４の領域映像が重なり合って合成された映像を生成して保存し（Ｓ２５０、Ｓ２５５）、このように保存された合成映像を出力することができる（Ｓ２６０）。
図２６～図２８は、本発明の他の一実施形態に係る広角映像提供方法を補正するための補正ブースを示す図である。
図２６は、本発明の他の一実施形態に係る広角歪み及び遠近歪みを補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示し、図２７は、本発明の他の一実施形態に係る重畳映像を補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示す。
また、図２８は、本発明の他の一実施形態に係る領域映像の明るさ及び色収差を補正するための補正ブースを示す。
したがって、本発明の他の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができ、歪みのない広角映像を提供して映像をＶＲ形式で出力することができ、映像を縮小または拡大しても歪みが発生しない。
さらに、本発明の他の実施形態によれば、自動車、ドローン、モバイル、カメラ、船舶、ロケット、医療、防衛、家庭、レジャーなどのカメラが使用される産業全般に適用することにより、広画角の映像を提供することができる。
図２９は、本発明の他の一実施形態に係る第１、第２、第３及び第４のカメラの配置位置による第１、第２、第３及び第４のカメラの撮影配置角度を示す図である。
以下、図２９を参照して、本発明の他の一実施形態に係る第１、第２、第３及び第４のカメラの配置による第１、第２、第３及び第４のカメラの撮影角度について説明する。
本発明の他の一実施形態によれば、図２９の（ａ）に示すように、第１、第２、第３及び第４のカメラは、死角のない、左右２００°及び上下２００°の広画角を有する正面映像を提供することができる。
また、図２９の（ｂ）に示すように、第１、第２、第３及び第４のカメラが地面に垂直な壁などの側面に配置される場合、当該側面（壁）を除くその他の領域の映像を撮影して提供することができる。
図３０は、本発明の他の一実施形態に係る広角映像提供システムのカメラモジュールの構成図であり、図３１は、本発明の他の一実施形態に係る広角映像提供システムのカメラモジュールの斜視図である。
図３０を参照すると、本発明の他の一実施形態に係る第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５は、それぞれレンズモジュール１１１、イメージセンサモジュール１１２及び構造体１１３を含んで構成されてもよい。
イメージセンサモジュール１１２は、前記レンズモジュール１１１を介して当該領域を撮影した領域映像を生成し、構造体１１３は、前記レンズモジュール１１１及び前記イメージセンサモジュール１１２を収納するように構成されてもよい。
この場合、前記構造体１１３は、軽量化のためにアルミフレームで構成されてもよい。
（ここで、αは各第１、第２、第３及び第４のカメラモジュール間の角度であり、ａは第１、第２、第３及び第４のカメラモジュールの水平画角である。）
（ここで、βは各第１、第２、第３及び第４のカメラモジュールのイメージモジュールの角度であり、ｂは第１、第２、第３及び第４のカメラモジュールの垂直画角である。）
本発明の一実施形態によれば、図３１に示すように、第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５の配置のために、式３を用いて、各第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５間の角度を計算することができ、式４を用いて、各第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５のイメージモジュール１１２の角度を計算して配置することができる。
以下、図１９を参照して、本発明のまた他の一実施形態に係る広角映像提供システムの構成について説明する。
図１９に示すように、本発明のまた他の一実施形態に係る広角映像提供システムは、第１のカメラモジュール１１０、第２のカメラモジュール１１５、第３のカメラモジュール１２０、第４のカメラモジュール１２５、補正処理部１３０及び映像保存部１４０を含んで構成されてもよく、また、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
第１のカメラモジュール１１０は、第１の領域を撮影した第１の領域映像を生成し、第２のカメラモジュール１１５は、前記第１の領域に右側に隣接する第２の領域を撮影した第２の領域映像を生成し、第３のカメラモジュール１２０は、前記第１の領域の反対側である第３の領域を撮影した第３の領域映像を生成し、第４のカメラモジュール１２５は、前記第２の領域の反対側であり、前記第３の領域の左側に隣接する第４の領域を撮影した第４の領域映像を生成する。
より具体的には、前記第１のカメラモジュール１１０は、正面左側（ｆｒｏｎｔ ｌｅｆｔ）に対応する領域を撮影して、正面左側の映像である第１の領域映像を生成することができ、前記第２のカメラモジュール１１５は、正面右側（ｆｒｏｎｔ ｕｐ）に対応する領域を撮影して、正面右側の映像である第２の領域映像を生成することができる。同様に、前記第３のカメラモジュール１２０は、背面左側（ｂａｃｋ ｌｅｆｔ）に対応する領域を撮影して、背面左側の映像である第３の領域映像を生成することができ、前記第４のカメラモジュール１２５は、背面右側（ｂａｃｋ ｒｉｇｈｔ）に対応する領域を撮影して、背面右側の映像である第４の領域映像を生成することができる。
このように、前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５で撮影された映像には、広角歪み及び遠近歪みがあり、４台のカメラを用いて撮影した映像を隣接するように重ね合わせる場合は、位相差、重畳領域、明暗差または色収差が発生する。
したがって、補正処理部１３０は、このように映像の歪み、位相差、重畳領域、明暗差または色収差などを補正する。すなわち、前記補正処理部１３０は、前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５で撮影された第１、第２、第３及び第４の領域映像をそれぞれ歪み補正及び位相差補正し、前記位相差補正した第１、第２、第３及び第４の領域映像を重畳補正及び色補正する。
より具体的には、前記補正処理部１３０は、歪み補正部１３１、位相差補正部１３２、重畳補正部１３３及び色補正部１３４を含んで構成されてもよい。
前記歪み補正部１３１は、第１、第２、第３及び第４の領域映像の歪みを補正し、位相差補正部１３２は、前記歪み補正した第１、第２、第３及び第４の領域映像をそれぞれ位相差補正する。また、重畳補正部１３３は、前記位相差補正した第１、第２、第３及び第４の領域映像を互いに隣接するように重ね合わせて補正し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像を色補正することができる。
より詳細には、前記歪み補正部１３１は、前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、前記位相差補正部１３２は、前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整し、前記重畳補正部１３３は、前記第１、第２、第３及び第４の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、前記色補正部１３４は、前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整することができる。
映像保存部１４０は、このように補正処理部１３０によって補正されて合成された映像を保存することができる。
したがって、本発明の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができる。
図３２～図３６は、本発明のまた他の一実施形態に係る広角映像提供方法を説明するための第１、第２、第３及び第４の領域映像の補正過程を説明するための図である。
以下、図２０及び図３２～図３６を参照して、本発明のまた他の一実施形態に係る広角映像提供方法について説明する。
まず、図２０に示すように、正面左側（ｕｐ ｌｅｆｔ）のカメラに対応する第１のカメラモジュールは、第１の領域を撮影した第１の領域映像を生成して抽出し（Ｓ２１０）、正面右側（ｕｐ ｒｉｇｈｔ）のカメラに対応する第２のカメラモジュールは、第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成して抽出する（Ｓ２１１）。
また、背面左側（ｂａｃｋ ｌｅｆｔ）のカメラに対応する第３のカメラモジュールは、第３の領域を撮影した第３の領域映像を生成して抽出し（Ｓ２１２）、背面右側（ｂａｃｋ ｒｉｇｈｔ）のカメラに対応する第４のカメラモジュールは、前記第２の領域の下側及び第３領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成して抽出する（Ｓ２１３）。
このように抽出された第１、第２、第３及び第４の領域映像には、遠近歪み及び広角歪みが含まれている。したがって、歪み補正部は、歪み定数（Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｎｓｔａｎｔ）を参照して、前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪み及び遠近歪みを補正する（Ｓ２２０、Ｓ２２１、Ｓ２２２、Ｓ２２３）。
図３２は、このように広角歪み及び遠近歪みが補正された第１及び第２の領域映像を示す。
その後、前記位相差補正部は、位相差定数（Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ｃｏｎｓｔａｎｔ）を参照して、前記広角歪み及び遠近歪みが補正された前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、図３３に示すように、座標回転移動を行い、前記第１及び第２の領域映像の位置を調整し、同様に、第３及び第４の領域映像の位置をも調整する（Ｓ２３０）。
その次、重畳補正部は、重畳定数（Ｏｖｅｒｌａｐ Ｃｏｎｓｔａｎｔ）を参照して、前記保存された第１、第２、第３及び第４の領域映像のサイズを調整した後、座標を移動して、図３４に示すように、重なり合うように位置調整する（Ｓ２４０）。
色補正部は、図３５に示すように、重ね合わせて補正した重畳映像に対して、色定数（Ｃｏｌｏｒ Ｃｏｎｓｔａｎｔ）を参照して明るさ及び色収差を調整して、図３６に示すように、第１、第２、第３及び第４の領域映像が重なり合って合成された映像を生成して保存し（Ｓ２５０、Ｓ２５５）、このように保存された合成映像を出力することができる（Ｓ２６０）。
図３７～図３９は、本発明のまた他の一実施形態に係る広角映像提供方法を補正するための補正ブースを示す図である。
図３７は、本発明の一実施形態に係る広角歪み及び遠近歪みを補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示し、図３８は、本発明の一実施形態に係る重畳映像を補正するための補正ブース（Ｃａｌｉｂｒａｔｉｏｎ Ｂｏｏｔｈ）を示す。
また、図３９は、本発明の一実施形態に係る領域映像の明るさ及び色収差を補正するための補正ブースを示す。
したがって、本発明の実施形態によれば、死角がなく、広角歪み、遠近歪み、明暗差及び色収差のない広角映像を提供することができ、歪みのない広角映像を提供して映像をＶＲ形式で出力することができ、映像を縮小または拡大しても歪みが発生しない。
さらに、本発明の実施形態によれば、自動車、ドローン、モバイル、カメラ、船舶、ロケット、医療、防衛、家庭、レジャーなどのカメラが使用される産業全般に適用することにより、広画角の映像を提供することができる。
図４０は、本発明の一実施形態に係る第１、第２、第３及び第４のカメラの配置位置による第１、第２、第３及び第４のカメラの撮影配置角度を示す図である。
以下、図４０を参照して、本発明の一実施形態に係る第１、第２、第３及び第４のカメラの配置による第１、第２、第３及び第４のカメラの撮影角度について説明する。
図４０の（ａ）に示すように、第１、第２、第３及び第４のカメラが床と天井を除く領域において死角のない、左右３６０°及び上下９０°～１００°の広画角を有する正面映像を提供することができる。
また、図４０の（ｂ）に示すように、第１、第２、第３及び第４のカメラが地面に垂直な壁などの側面に配置される場合、床と天井を除くその他の領域映像を撮影して提供することができる。
図４１は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの構成図であり、図４２は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの斜視図である。
また、図４３は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの角度調整方法を説明するための図であり、図４４は、本発明の一実施形態に係る広角映像提供システムのカメラモジュールの展開図である。
図４１及び図４２を参照すると、本発明の一実施形態に係る第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５は、それぞれのレンズモジュール１１１、イメージセンサモジュール１１２及び構造体１１３を含んで構成されてもよい。
イメージセンサモジュール１１２は、前記レンズモジュール１１１を介して当該領域を撮影した領域映像を生成し、構造体１１３は、前記レンズモジュール１１１及び前記イメージセンサモジュール１１２を収納するように構成されてもよい。
この場合、前記構造体１１３は、軽量化のためにアルミフレームで構成されてもよく、本発明の一実施形態に係る固定型広角映像提供システムは、第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５が４面に配置されるように固定されており、３６０°を撮影する正方形の撮影システムとして構成されてもよい。
また、図４３及び図４４に示すように、第１及び第２のリンク部１５１、１５２は、前記第１及び第２のカメラモジュール１１０、１１５の各一方の側にそれぞれ結合され、同様に、第３及び第４のリンク部１５３、１５４は、前記第３及び第４のカメラモジュール１２０、１２５の各一方の側にそれぞれ結合されており、円形板１５０は、固定板１６０、１６１の間に固定されてモータによって回転するように構成されてもよい。
また、前記円形板１５０には、各前記第１、第２、第３及び第４のリンク部１５１、１５２が結合されて移動する曲線溝を含むように構成されてもよい。
これにより、第１及び第２のカメラモジュール１１０、１１５は、各前記一方の側に対向する各他方の側が互いにヒンジ結合する構造を有し、前記第１及び第２のリンク部１５１、１５２は、前記円形板１５０の回転により前記曲線溝を移動し、同様に、第３及び第４のカメラモジュール１２０、１２５は、各前記一方の側に対向する各他方の側が互いにヒンジ結合する構造を有し、前記第３及び第４のリンク部１５３、１５４は、前記円形板１５０の回転により前記曲線溝を移動することができる。
したがって、本発明の一実施形態によれば、前記円形板１５０の回転により前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５によって形成される角度を調整することができる。
このような第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５間の角度を調整する際には、モータを制御して前記円形板１５０を回転させて、第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５間の角度を調整し、ズームイン及びズームアウトにより最適の映像撮影範囲を得ることができる。
一方、本発明によれば、第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５の画角に応じて前記第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５の角度を決定することができる。
（ここで、αは各第１、第２、第３及び第４のカメラモジュール間の角度であり、ａは第１、第２、第３及び第４のカメラモジュールの水平画角である。）
（ここで、βは各第１、第２、第３及び第４のカメラモジュールのイメージモジュールの角度であり、ｂは第１、第２、第３及び第４のカメラモジュールの垂直画角である。）
本発明の一実施形態によれば、図４３に示すように、第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５の配置のために式１を用いて、各第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５間の角度を計算することができ、式２を用いて、各第１、第２、第３及び第４のカメラモジュール１１０、１１５、１２０、１２５のイメージモジュール１１２の角度を計算して配置することができる。
前述したような本発明の詳細な説明では具体的な実施形態に関して説明した。しかしながら、本発明の範疇を逸脱しない範囲内で様々な変形が可能である。本発明の技術的思想は本発明の前述した実施形態に限定されて定めてならず、特許請求の範囲のみではなく、この特許請求の範囲と均等なものにより定められなければならない。
Claims (2)
- 第１のカメラモジュール、第２のカメラモジュール、第３のカメラモジュール、第４のカメラモジュール、歪み補正部、位相差補正部、重畳補正部及び色補正部を含む広角映像提供システムにより行われる、広角映像提供方法であって、
前記広角映像提供システムは、
前記第１及び第２のカメラモジュールの各一方の側にそれぞれ結合される第１及び第２のリンク部と、前記第３及び第４のカメラモジュールの各一方の側にそれぞれ結合される第３及び第４のリンク部と、モータによって回転し、各前記第１、第２、第３及び第４のリンク部が結合されて移動する曲線溝を有する円形板と、前記第１及び第２のカメラモジュールにおいて各前記一方の側に対向する各他方の側が互いにヒンジ結合する構造と、前記第３及び第４のカメラモジュールにおいて各前記一方の側に対向する各他方の側が互いにヒンジ結合する構造とを含み、
前記広角映像提供方法は、
前記第１のカメラモジュールが第１の領域を撮影した第１の領域映像を生成し、前記第２のカメラモジュールが第１の領域の右側に隣接する第２の領域を撮影した第２の領域映像を生成し、前記第３のカメラモジュールが前記第１の領域の反対側である第３の領域を撮影した第３の領域映像を生成し、前記第４のカメラモジュールが前記第２の領域の反対側であり、前記第３の領域の右側に隣接する第４の領域を撮影した第４領域映像を生成する撮影ステップであって、
前記第１及び第２のリンク部が，前記円形板の回転により前記曲線溝を移動することにより、前記第１及び第２のカメラモジュールが互いになす角度を調整し、前記第３及び第４のリンク部が、前記円形板の回転により前記曲線溝を移動することにより、前記第３及び第４のカメラモジュールが互いになす角度を調整する、前記撮影ステップと；
歪み補正部が前記第１、第２、第３及び第４の領域映像をそれぞれ歪み補正する歪み補正ステップと；
位相差補正部が前記歪み補正した第１、第２、第３及び第４の領域映像をそれぞれ位相差補正する位相差補正ステップと；
重畳補正部が前記位相差補正した第１、第２、第３及び第４の領域映像を互いに隣接するように重ね合わせて補正する重畳補正ステップと；
色補正部が前記重ね合わせて補正した第１、第２、第３及び第４の領域映像を色補正する色補正ステップと；
を含む広角映像提供方法。 - 前記歪み補正ステップでは、前記歪み補正部が前記第１、第２、第３及び第４の領域映像のそれぞれの広角歪みを補正した後、遠近歪みを補正し、
前記位相差補正ステップでは、前記位相差補正部が前記第１、第２、第３及び第４の領域映像の水平基準点を抽出した後、座標回転移動を行い、前記第１、第２、第３及び第４の領域映像の位置を調整し、
前記重畳補正ステップでは、前記重畳補正部が前記第１、第２、第３及び第４の領域映像をそれぞれサイズ調整した後、座標移動して重なり合うように位置調整し、
前記色補正ステップでは、前記色補正部が前記重ね合わせて補正した重畳映像の明るさ及び色収差を調整する請求項１に記載の広角映像提供方法。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180048327A KR102062736B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
| KR10-2018-0048328 | 2018-04-26 | ||
| KR10-2018-0048327 | 2018-04-26 | ||
| KR1020180048326A KR102062734B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
| KR10-2018-0048326 | 2018-04-26 | ||
| KR1020180048328A KR102057602B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
| PCT/KR2019/005074 WO2019209069A1 (ko) | 2018-04-26 | 2019-04-26 | 광각 영상 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021519954A JP2021519954A (ja) | 2021-08-12 |
| JP7231281B2 true JP7231281B2 (ja) | 2023-03-01 |
Family
ID=68293599
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021509710A Active JP7231281B2 (ja) | 2018-04-26 | 2019-04-26 | 広角映像提供方法 |
| JP2021509709A Active JP7185357B2 (ja) | 2018-04-26 | 2019-04-26 | 広角映像提供システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021509709A Active JP7185357B2 (ja) | 2018-04-26 | 2019-04-26 | 広角映像提供システム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11523054B2 (ja) |
| EP (2) | EP3787277A4 (ja) |
| JP (2) | JP7231281B2 (ja) |
| CN (2) | CN112154647B (ja) |
| WO (2) | WO2019209069A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112154647B (zh) * | 2018-04-26 | 2022-03-18 | 十以及二株式会社 | 广角影像提供系统 |
| JP2021141436A (ja) * | 2020-03-05 | 2021-09-16 | キヤノン株式会社 | 電子機器 |
| TWI760733B (zh) * | 2020-04-27 | 2022-04-11 | 晶睿通訊股份有限公司 | 影像校正方法及其影像校正裝置 |
| JP2022006912A (ja) * | 2020-06-25 | 2022-01-13 | キヤノン株式会社 | 制御装置、撮像装置、監視システム、及び制御方法 |
| KR20220036630A (ko) * | 2020-09-16 | 2022-03-23 | 삼성전자주식회사 | 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 |
| CN112969033A (zh) * | 2020-12-31 | 2021-06-15 | 清华大学苏州汽车研究院（吴江） | 一种智能座舱车内智能感知系统 |
| US11849100B2 (en) * | 2021-05-31 | 2023-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and non-transitory computer readable medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009169601A (ja) | 2008-01-15 | 2009-07-30 | Ricoh Co Ltd | 画像処理システム及びこの画像処理システムを有するカメラ |
| JP2010245831A (ja) | 2009-04-06 | 2010-10-28 | Nikon Corp | 撮影画像合成装置 |
| JP2011182328A (ja) | 2010-03-03 | 2011-09-15 | Fujifilm Corp | 複眼撮像装置 |
| JP2012504889A (ja) | 2008-10-01 | 2012-02-23 | ハイ キー リミテッド | 画像取込装置の較正方法および較正システム |
| JP2012159616A (ja) | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
| JP5843034B1 (ja) | 2014-05-15 | 2016-01-13 | 株式会社リコー | 動画表示装置およびプログラム |
| JP2017187727A (ja) | 2016-04-01 | 2017-10-12 | 健治 比嘉 | 連結カメラ |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6022123B2 (ja) | 1981-07-07 | 1985-05-31 | ピーエスコンクリート株式会社 | 舗装版の結合方法 |
| US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
| JP2004120226A (ja) | 2002-09-25 | 2004-04-15 | Sharp Corp | パノラマ画像撮像装置及びパノラマ画像撮像方法 |
| FI115947B (fi) * | 2004-02-25 | 2005-08-15 | Nokia Corp | Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
| US20060098897A1 (en) * | 2004-11-10 | 2006-05-11 | Agfa-Gevaert | Method of superimposing images |
| KR100614840B1 (ko) * | 2004-11-11 | 2006-08-22 | 김배훈 | 360°파노라마 촬영용 카메라장치 |
| KR100709780B1 (ko) * | 2005-03-02 | 2007-04-19 | 김배훈 | 영상 조합기를 이용한 감시 카메라 장치 |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| KR100724134B1 (ko) * | 2006-01-09 | 2007-06-04 | 삼성전자주식회사 | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 |
| US8416282B2 (en) * | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
| GB2473059A (en) * | 2009-08-28 | 2011-03-02 | Sony Corp | A method and apparatus for forming a composite image |
| JP5417138B2 (ja) | 2009-12-07 | 2014-02-12 | 株式会社東芝 | カメラモジュール |
| JP2011182078A (ja) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 |
| CN101833231B (zh) * | 2010-03-19 | 2012-05-23 | 中国人民解放军国防科学技术大学 | 拼接全景相机视域的调节装置及调节方法 |
| CN102438153B (zh) * | 2010-09-29 | 2015-11-25 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
| KR101300350B1 (ko) * | 2011-08-09 | 2013-08-28 | 삼성전기주식회사 | 영상 처리 장치 및 영상 처리 방법 |
| US9600863B2 (en) * | 2012-02-13 | 2017-03-21 | Omnivision Technologies, Inc. | Method for combining images |
| GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
| US9686479B2 (en) * | 2013-09-16 | 2017-06-20 | Duke University | Method for combining multiple image fields |
| JP2015100613A (ja) * | 2013-11-27 | 2015-06-04 | ソニー株式会社 | 画像処理装置および方法、並びに超音波診断装置 |
| JP6232994B2 (ja) | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2015125002A (ja) | 2013-12-25 | 2015-07-06 | 株式会社ズームスケープ | 計測用画像撮影方法及び画像計測プログラム |
| CN106464785A (zh) * | 2014-05-20 | 2017-02-22 | 奈克斯特Vr股份有限公司 | 包括或用于一个或多个照相机的装置和方法 |
| US9185391B1 (en) * | 2014-06-17 | 2015-11-10 | Actality, Inc. | Adjustable parallax distance, wide field of view, stereoscopic imaging system |
| US9420176B2 (en) * | 2014-06-19 | 2016-08-16 | Omnivision Technologies, Inc. | 360 degree multi-camera system |
| KR101657673B1 (ko) * | 2015-04-30 | 2016-09-22 | 주식회사 와이즈오토모티브 | 파노라마뷰 생성 장치 및 방법 |
| US9866752B2 (en) * | 2015-06-02 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for producing a combined view from fisheye cameras |
| US20170061686A1 (en) * | 2015-08-28 | 2017-03-02 | Hai Yu | Stage view presentation method and system |
| KR102450363B1 (ko) * | 2015-11-06 | 2022-10-04 | 한화테크윈 주식회사 | 감시 카메라 |
| JP6022123B1 (ja) | 2015-11-09 | 2016-11-09 | 三菱電機株式会社 | 画像生成システム及び画像生成方法 |
| CN207196012U (zh) * | 2017-08-21 | 2018-04-06 | 中国科学院深圳先进技术研究院 | 一种全景视频拍摄架 |
| KR102372808B1 (ko) * | 2017-09-11 | 2022-03-15 | 삼성전자주식회사 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
| JP2019168661A (ja) * | 2018-03-26 | 2019-10-03 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
| CN112154647B (zh) * | 2018-04-26 | 2022-03-18 | 十以及二株式会社 | 广角影像提供系统 |
-
2019
- 2019-04-26 CN CN201980028471.4A patent/CN112154647B/zh active Active
- 2019-04-26 WO PCT/KR2019/005074 patent/WO2019209069A1/ko active Application Filing
- 2019-04-26 EP EP19791751.1A patent/EP3787277A4/en active Pending
- 2019-04-26 WO PCT/KR2019/005068 patent/WO2019209067A1/ko active Application Filing
- 2019-04-26 CN CN201980028456.XA patent/CN112119626B/zh active Active
- 2019-04-26 JP JP2021509710A patent/JP7231281B2/ja active Active
- 2019-04-26 US US17/050,461 patent/US11523054B2/en active Active
- 2019-04-26 US US17/050,460 patent/US20210243367A1/en active Pending
- 2019-04-26 EP EP19792249.5A patent/EP3787278A4/en active Pending
- 2019-04-26 JP JP2021509709A patent/JP7185357B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009169601A (ja) | 2008-01-15 | 2009-07-30 | Ricoh Co Ltd | 画像処理システム及びこの画像処理システムを有するカメラ |
| JP2012504889A (ja) | 2008-10-01 | 2012-02-23 | ハイ キー リミテッド | 画像取込装置の較正方法および較正システム |
| JP2010245831A (ja) | 2009-04-06 | 2010-10-28 | Nikon Corp | 撮影画像合成装置 |
| JP2011182328A (ja) | 2010-03-03 | 2011-09-15 | Fujifilm Corp | 複眼撮像装置 |
| JP2012159616A (ja) | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
| JP5843034B1 (ja) | 2014-05-15 | 2016-01-13 | 株式会社リコー | 動画表示装置およびプログラム |
| JP2017187727A (ja) | 2016-04-01 | 2017-10-12 | 健治 比嘉 | 連結カメラ |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019209067A1 (ko) | 2019-10-31 |
| CN112119626A (zh) | 2020-12-22 |
| US20210243367A1 (en) | 2021-08-05 |
| US11523054B2 (en) | 2022-12-06 |
| CN112154647B (zh) | 2022-03-18 |
| EP3787277A1 (en) | 2021-03-03 |
| EP3787278A4 (en) | 2022-03-16 |
| JP7185357B2 (ja) | 2022-12-07 |
| CN112119626B (zh) | 2022-03-18 |
| EP3787277A4 (en) | 2022-03-30 |
| JP2021520174A (ja) | 2021-08-12 |
| US20210243368A1 (en) | 2021-08-05 |
| CN112154647A (zh) | 2020-12-29 |
| JP2021519954A (ja) | 2021-08-12 |
| EP3787278A1 (en) | 2021-03-03 |
| WO2019209069A1 (ko) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7231281B2 (ja) | 広角映像提供方法 | |
| KR101776702B1 (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
| JP2018521593A5 (ja) | ||
| US20140015920A1 (en) | Virtual perspective image synthesizing system and its synthesizing method | |
| JP2006352851A (ja) | 複合カメラによりシーンの画像を取得する方法及び装置 | |
| JP6528771B2 (ja) | 撮影装置 | |
| US20180268521A1 (en) | System and method for stitching images | |
| KR20140090775A (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
| KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
| JP7204449B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
| TWI696147B (zh) | 全景圖形成方法及系統 | |
| Yebes et al. | Surrounding view for enhancing safety on vehicles | |
| KR102062736B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
| KR20150099008A (ko) | 3d 영상 촬영용 파노라마 카메라장치 | |
| KR102062734B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
| TW201410015A (zh) | 多攝影機的整合處理系統及其方法 | |
| KR102057602B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
| JP2011211675A (ja) | アムニディレクショナルと防犯・監視カメラ統合で死角無し | |
| JPH08305841A (ja) | 歪曲収差画像補正表示装置 | |
| JP2005099572A (ja) | 広域撮影方法および表示方法 | |
| JP2001258050A (ja) | 立体映像撮像装置 | |
| JP4304997B2 (ja) | マルチカメラ映像合成表示装置 | |
| JP2019009574A (ja) | 画像処理装置 | |
| JP2002347517A (ja) | 車載カメラおよび車両の周囲監視装置 | |
| JP5340973B2 (ja) | 浮遊立体表示装置システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7231281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |