JP6606480B2 - Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program - Google Patents

Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program Download PDF

Info

Publication number
JP6606480B2
JP6606480B2 JP2016158541A JP2016158541A JP6606480B2 JP 6606480 B2 JP6606480 B2 JP 6606480B2 JP 2016158541 A JP2016158541 A JP 2016158541A JP 2016158541 A JP2016158541 A JP 2016158541A JP 6606480 B2 JP6606480 B2 JP 6606480B2
Authority
JP
Japan
Prior art keywords
information
seam
reduced image
imaging
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158541A
Other languages
Japanese (ja)
Other versions
JP2018026744A (en
Inventor
由実 菊地
和 宮川
朗 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016158541A priority Critical patent/JP6606480B2/en
Publication of JP2018026744A publication Critical patent/JP2018026744A/en
Application granted granted Critical
Publication of JP6606480B2 publication Critical patent/JP6606480B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、互いに重なるように撮影した複数の映像情報を繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムに関する。   The present invention relates to a panoramic video information generating apparatus that generates a panoramic video information by connecting a plurality of video information photographed so as to overlap each other, a panoramic video information generating method used therefor, and a panoramic video information generating program.

従来、複数台のカメラ装置により一部領域が重なるように撮影した映像情報を繋ぎ合わせて、広角のパノラマ映像情報を生成する技術がある。この技術では、繋ぎ合わせの処理対象となる２つの映像情報内のそれぞれのフレーム画像情報から特徴点を抽出することで、同一の被写体を映している部分を判別し、これに基づいて画像情報の繋ぎ目（以下、シームと称する）を決定して繋ぎ合わせ処理を行う。   2. Description of the Related Art Conventionally, there is a technology for generating wide-angle panoramic video information by connecting video information captured so that partial areas overlap by a plurality of camera devices. In this technology, a feature point is extracted from each piece of frame image information in two pieces of video information to be connected, so that a portion showing the same subject is discriminated, and based on this, the image information A joint (hereinafter referred to as a seam) is determined and a joining process is performed.

この技術を用いることにより、精度の高い広角の映像情報をリアルタイムに生成することができる。   By using this technique, it is possible to generate wide-angle video information with high accuracy in real time.

画像領域に適応したパノラマ映像生成技術の提案 IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24

一方で、近年は映像技術の分野において解像度の高度化が進んでおり、４Ｋ（横4000×縦2000ピクセル前後）に対応した高解像度のカメラ装置やテレビ装置が普及してきている。このような装置で撮影された複数の高解像度の映像情報を、上述したような技術を用いて繋ぎ合わせようとすると、その計算量が膨大になり、リアルタイムでパノラマ映像情報を生成することが困難になるという問題があった。   On the other hand, in recent years, the resolution has been advanced in the field of video technology, and high-resolution camera devices and television devices compatible with 4K (around 4000 × vertical 2000 pixels) have become widespread. If a plurality of high-resolution video information shot by such an apparatus is to be connected using the technique as described above, the amount of calculation becomes enormous and it is difficult to generate panoramic video information in real time. There was a problem of becoming.

本発明は上記事情を鑑みてなされたものであり、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and a panoramic video information generating device that generates high-resolution panoramic video information by connecting a plurality of high-resolution video information overlapping a part of a shooting area at high speed and high accuracy, An object is to provide a panoramic video information generation method and a panoramic video information generation program used for this.

上記の課題を解決するための、本発明のパノラマ映像情報生成装置は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部とを備えることを特徴とする。 In order to solve the above-described problem, a panoramic video information generation apparatus according to the present invention generates panoramic video information by connecting first video information and second video information in which a part of a shooting area overlaps. In the generation device, frame image information in the first video information is sequentially acquired as first imaging information, and frame image information corresponding to the first imaging information in the second video information is sequentially acquired as second imaging information. An imaging information acquisition unit to be acquired, and first reduced image information obtained by reducing the first imaging information acquired by the imaging information acquisition unit, and second reduced image information obtained by reducing the second imaging information are generated. a reduced image information generating unit that includes a first reduced image information generated by said reduced image information generating unit, from one of the corresponding second reduced image information, the first reduced image information Based on the seam information acquisition unit that searches for a joint line for joining the second reduced image information and acquires the position information of the searched joint line as seam information, and the seam information acquired by the seam information acquisition unit A stitching processing unit that generates panoramic image information by sequentially generating corresponding panoramic image information by connecting the corresponding first imaging information and second imaging information is provided.

また、本発明のパノラマ映像情報生成方法は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップとを有することを特徴とする。 In the panoramic video information generating method of the present invention, the panoramic video information generating apparatus that generates the panoramic video information by connecting the first video information and the second video information that overlap a part of the shooting region is the first video information. An imaging information acquisition step of sequentially acquiring frame image information in the video information as first imaging information and sequentially acquiring frame image information corresponding to the first imaging information in the second video information as second imaging information; A reduced image information generation step for generating first reduced image information obtained by reducing the first imaging information acquired in the imaging information acquisition step and generating second reduced image information obtained by reducing the second imaging information; a first reduced image information generated by said reduced image information generating step, from one of the corresponding second reduced image information, and the first reduced image information first Search for a joint line for joining the reduced image information, obtain the position information of the searched joint line as seam information, and based on the seam information acquired in the seam information acquisition step, And stitching processing steps for generating panoramic image information by sequentially generating panoramic image information by connecting the first imaging information and the second imaging information.

また本発明のパノラマ映像情報生成用プログラムは、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能とを実行させることを特徴とする。
The panoramic video information generation program of the present invention is a panoramic video information generation apparatus that generates panoramic video information by connecting first video information and second video information in which a part of a shooting area overlaps. An imaging information acquisition function for sequentially acquiring frame image information in the video information as first imaging information and sequentially acquiring frame image information corresponding to the first imaging information in the second video information as second imaging information; A reduced image information generation function for generating first reduced image information obtained by reducing the first imaging information acquired by the imaging information acquisition function, and generating second reduced image information obtained by reducing the second imaging information; a first reduced image information generated by said reduced image information generating function, from one of the corresponding second reduced image information, the first reduced image information and the second Based on the seam information acquisition function that searches for a joint line for joining small image information and acquires the position information of the searched joint line as seam information, and the seam information acquired by the seam information acquisition function, The stitching processing function for generating panoramic video information is executed by sequentially generating the panoramic image information by connecting the first imaging information and the second imaging information.

本発明のパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムによれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することが可能になる。   According to the panoramic video information generation apparatus, the panoramic video information generation method, and the panoramic video information generation program used therefor, high-resolution multiple video information in which a part of the shooting area overlaps can be obtained at high speed and with high accuracy. It is possible to generate panoramic video information by connecting them.

本発明の一実施形態によるパノラマ画像生成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the panoramic image production | generation apparatus by one Embodiment of this invention. 本発明の一実施形態によるパノラマ画像生成装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the panorama image generation apparatus by one Embodiment of this invention.

本発明の一実施形態として、４Ｋカメラで構成された第１カメラ装置で撮影された第１映像情報と、４Ｋカメラで構成された第２カメラ装置で、撮影領域の一部が第１映像情報と重複するように撮影された第２映像情報とを繋ぎ合わせて、広角のパノラマ映像情報を生成する場合について説明する。   As one embodiment of the present invention, the first video information captured by the first camera device configured by the 4K camera and the second camera device configured by the 4K camera, wherein a part of the imaging area is the first video information. A case where wide-angle panoramic video information is generated by connecting the second video information photographed so as to overlap with each other will be described.

〈一実施形態によるパノラマ映像情報生成装置の構成〉
本発明の一実施形態によるパノラマ映像情報生成装置の構成について、図１を参照して説明する。 <Configuration of Panorama Video Information Generating Device According to One Embodiment>
A configuration of a panoramic video information generation apparatus according to an embodiment of the present invention will be described with reference to FIG.

本実施形態によるパノラマ映像情報生成装置１は、第１カメラ装置２、第２カメラ装置３、およびディスプレイ４に接続され、撮像情報取得部１１と、縮小画像情報生成部１２と、シーム情報取得部１３と、シーム情報記憶部１４と、重み付け設定部１５と、シーム情報調整部１６と、画像拡大処理部１７と、スティッチング処理部１８とを有する。   A panoramic video information generation device 1 according to the present embodiment is connected to a first camera device 2, a second camera device 3, and a display 4, and includes an imaging information acquisition unit 11, a reduced image information generation unit 12, and a seam information acquisition unit. 13, a seam information storage unit 14, a weighting setting unit 15, a seam information adjustment unit 16, an image enlargement processing unit 17, and a stitching processing unit 18.

撮像情報取得部１１は、第１カメラ装置２で撮影された第１映像情報を構成するフレーム画像情報を、第１撮像情報として順次取得するとともに、第２カメラ装置３で撮影された第２映像情報を構成するフレーム画像情報を、第２撮像情報として順次取得する。   The imaging information acquisition unit 11 sequentially acquires the frame image information constituting the first video information captured by the first camera device 2 as the first imaging information, and the second video captured by the second camera device 3. Frame image information constituting the information is sequentially acquired as second imaging information.

縮小画像情報生成部１２は、撮像情報取得部１１で取得された撮像情報に基づいて、第１撮像情報を縮小した第１縮小画像情報を順次生成するとともに、第２撮像情報を縮小した第２縮小画像情報を順次生成する。   The reduced image information generation unit 12 sequentially generates the first reduced image information obtained by reducing the first imaging information based on the imaging information acquired by the imaging information acquisition unit 11, and the second image information obtained by reducing the second imaging information. Reduced image information is sequentially generated.

シーム情報取得部１３は、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と当該第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得する。   The seam information acquisition unit 13 obtains the first reduced image information and the second reduced image from at least one of the first reduced image information generated by the reduced image information generation unit 12 and the corresponding second reduced image information. A joint line for joining the information is searched, and position information of the searched joint line is acquired as seam information.

シーム情報記憶部１４は、当該第１映像情報と当該第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶する。   The seam information storage unit 14 stores seam information acquired in the past in the process of connecting the first video information and the second video information.

重み付け設定部１５は、シーム情報記憶部１４に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する。また、これらの重み付けの値を、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新する。   Based on the past seam information stored in the seam information storage unit 14, the weight setting unit 15 increases as the number of times the seam information is acquired for each position information in the reduced image information from which the seam information is acquired. Set the weight to be a value. In addition, the weighting is set so that the position information around each seam information is higher as it is closer to the corresponding seam information. In addition, the weighting values are updated so that the acquisition timing of the corresponding seam information is lower as it is older than the current time.

シーム情報調整部１６は、シーム情報取得部１３で取得された最新のシーム情報を、重み付け設定部１５で設定された重み付けの値が高い位置情報に近づけるように調整する。   The seam information adjustment unit 16 adjusts the latest seam information acquired by the seam information acquisition unit 13 so as to approach the position information having a high weighting value set by the weighting setting unit 15.

画像拡大処理部１７は、シーム情報が取得された縮小画像情報を、元の画像情報の大きさに拡大した拡大画像情報を生成する。   The image enlargement processing unit 17 generates enlarged image information obtained by enlarging the reduced image information obtained from the seam information to the size of the original image information.

スティッチング処理部１８は、画像拡大処理部１７で生成された拡大画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する。   Based on the seam information of the enlarged image information generated by the image enlargement processing unit 17, the stitching processing unit 18 connects the corresponding first imaging information and second imaging information and sequentially generates panoramic image information. Then, panoramic video information is generated.

〈一実施形態によるパノラマ映像情報生成装置の動作〉
次に、本実施形態によるパノラマ映像情報生成装置の動作について、図２のフローチャートを参照して説明する。 <Operation of Panorama Video Information Generating Device According to One Embodiment>
Next, the operation of the panoramic video information generation apparatus according to the present embodiment will be described with reference to the flowchart of FIG.

まず、第１カメラ装置２で撮影された第１映像情報のフレーム画像情報、および第２カメラ装置３で撮影された第２映像情報のフレーム画像情報が、順次撮像情報取得部１１で取得される（Ｓ１）。   First, the image information acquisition unit 11 sequentially acquires the frame image information of the first video information captured by the first camera device 2 and the frame image information of the second video information captured by the second camera device 3. (S1).

次に、縮小画像情報生成部１２において、撮像情報取得部１１で取得された第１映像情報内のフレーム画像情報である第１撮像情報から、当該第１撮像情報を縮小した第１縮小画像情報が順次生成される。また、撮像情報取得部１１で取得された第２映像情報内のフレーム画像情報である第２撮像情報から、当該第２撮像情報を縮小した第２縮小画像情報が順次生成される（Ｓ２）。   Next, in the reduced image information generation unit 12, first reduced image information obtained by reducing the first imaging information from the first imaging information that is frame image information in the first video information acquired by the imaging information acquisition unit 11. Are generated sequentially. Further, second reduced image information obtained by reducing the second imaging information is sequentially generated from the second imaging information that is frame image information in the second video information acquired by the imaging information acquisition unit 11 (S2).

このとき、縦方向の縮小率と横方向の縮小率とを異なる値で処理することにより、第１縮小画像情報および第２縮小画像情報が生成される。   At this time, the first reduced image information and the second reduced image information are generated by processing the vertical reduction rate and the horizontal reduction rate with different values.

ここで、縦方向の縮小率よりも横方向の縮小率を高くする（例えば、縦方向に１／２倍に縮小するのに対し、横方向に１／３倍に縮小する）ことで、横方向に大きくフィルタをかけた縮小画像情報が生成され、シーム情報が横方向に大きく振れることが防止され、生成されるパノラマ映像情報を再生した際にチラつきが目立つ状態になることを防ぐことができる。   Here, by making the reduction ratio in the horizontal direction higher than the reduction ratio in the vertical direction (for example, reducing in the vertical direction by a factor of 1/2, the horizontal direction by a factor of 1/3), Reduced image information that is greatly filtered in the direction is generated, the seam information is prevented from shaking greatly in the horizontal direction, and flicker is not noticeable when the generated panoramic video information is reproduced. .

また、横方向の縮小率よりも縦方向の縮小率を高くする（例えば、横方向に１／２倍に縮小するのに対し、縦方向に１／３倍に縮小する）ことで、縦方向に大きくフィルタをかけた縮小画像情報が生成され、以降実行されるシーム情報の取得処理において縦方向の接合線の探索処理を粗くして計算量を大きく低減させることができ、処理時間の短縮を図ることができる。   Also, by making the vertical reduction ratio higher than the horizontal reduction ratio (for example, reducing the horizontal direction by a factor of 1/2 to the vertical direction by a factor of 1/3), the vertical direction Reduced image information with a large filter is generated, and the search process for the joint line in the vertical direction can be coarsened in the subsequent seam information acquisition process, greatly reducing the amount of calculation and reducing the processing time. You can plan.

このため、例えば動きの速いスポーツコンテンツに対してパノラマ映像情報生成処理を行う場合は横方向の縮小率を高くすることで、チラつきを抑えた滑らかな動きのパノラマ映像情報を再生させることができ、全体的に画面が暗く画像処理の難易度が高いライブ映像コンテンツに対してパノラマ映像情報生成処理を行う場合は縦方向の縮小率を高くすることで、処理時間を短縮させてリアルタイムでのパノラマ映像情報の再生を可能にすることができる。   For this reason, for example, when performing panoramic video information generation processing for fast-moving sports content, it is possible to reproduce smooth motion panoramic video information with reduced flicker by increasing the horizontal reduction ratio, When performing panoramic video information generation processing for live video content with a dark overall screen and high image processing difficulty, the processing time is shortened by increasing the vertical reduction ratio to reduce the processing time in real time. Information can be played back.

次に、シーム情報取得部１３において、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と対応する第２縮小画像情報とを繋ぎ合わせるための接合線が探索され、探索された接合線の位置情報がシーム情報として取得される（Ｓ３）。   Next, the seam information acquisition unit 13 corresponds to the first reduced image information from at least one of the first reduced image information generated by the reduced image information generation unit 12 and the corresponding second reduced image information. A joint line for joining the second reduced image information is searched, and position information of the searched joint line is acquired as seam information (S3).

次に、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報の調整が行われる（Ｓ４）。シーム情報の調整に用いる縮小画像情報内の位置情報ごとの重み付け設定について説明する。   Next, the seam information adjustment unit 16 adjusts the seam information acquired by the seam information acquisition unit 13 (S4). The weighting setting for each position information in the reduced image information used for adjusting the seam information will be described.

シーム情報記憶部１４には、当該第１映像情報と第２映像情報とに対するパノラマ映像生成処理において、過去に取得されたシーム情報が記憶されている。   The seam information storage unit 14 stores seam information acquired in the past in the panoramic video generation process for the first video information and the second video information.

また、重み付け設定部１５には、シーム情報記憶部１４に記憶されたシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けが設定されている。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けが設定されている。また、これらの重み付けの値は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新される。この重み付けの更新処理は、新たなシーム情報が取得される都度実行してもよいし、予め設定された所定時間間隔で実行してもよい。   Further, the weight setting unit 15 increases the number of times the seam information is acquired for each position information in the reduced image information from which the seam information is acquired based on the seam information stored in the seam information storage unit 14. The weighting is set so as to be a high value. In addition, weighting is set so that the position information around each seam information is higher as it is closer to the corresponding seam information. Also, these weighting values are updated so as to become lower as the acquisition timing of the corresponding seam information is older than the current time. This weighting update process may be executed each time new seam information is acquired, or may be executed at predetermined time intervals.

そして、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報が、重み付け設定部１５に設定された重み付けの値が高い位置情報に近づくように調整される。このように調整されることにより、接合線の位置が急激に移動することを防ぐことができ、生成されるパノラマ映像情報を再生した際の画面のチラつきや揺れの発生、画質の劣化が防止される。   Then, the seam information adjustment unit 16 adjusts the seam information acquired by the seam information acquisition unit 13 so as to approach the position information having a high weighting value set in the weighting setting unit 15. By adjusting in this way, the position of the joining line can be prevented from moving suddenly, and flickering and shaking of the screen when the generated panoramic video information is reproduced, and deterioration of the image quality are prevented. The

シーム情報調整部１６において調整された最新のシーム情報は、新たにシーム情報記憶部１４に記憶され（Ｓ５）、以降の重み付けの更新や、シーム情報の調整に用いられる。   The latest seam information adjusted by the seam information adjustment unit 16 is newly stored in the seam information storage unit 14 (S5), and is used for subsequent weighting updates and seam information adjustment.

次に、画像拡大処理部１７により、取得されたシーム情報が付加された状態で縮小画像情報が元の画像情報の大きさに拡大され、拡大画像情報が生成される（Ｓ６）。そして、拡大画像情報に付加されているシーム情報に基づいて、スティッチング処理部１８により、処理対象の第１画像情報と第２画像情報とが繋ぎ合わせられてパノラマ画像情報が生成される（Ｓ７）。上述したステップＳ２〜Ｓ７の処理は第１映像情報または第２映像情報が終了するまで繰り返される（Ｓ８の「NO」）。   Next, the image enlargement processing unit 17 enlarges the reduced image information to the size of the original image information with the acquired seam information added, and generates enlarged image information (S6). Then, based on the seam information added to the enlarged image information, the stitching processing unit 18 joins the first image information to be processed and the second image information to generate panoramic image information (S7). ). The processes in steps S2 to S7 described above are repeated until the first video information or the second video information is completed ("NO" in S8).

このようにして対応する第１画像情報と第２画像情報とがそれぞれ繋ぎ合わせられ、生成されたパノラマ画像情報が順次ディスプレイ４に出力され、パノラマ映像情報が再生される。   Thus, the corresponding first image information and second image information are connected to each other, and the generated panoramic image information is sequentially output to the display 4 to reproduce the panoramic video information.

以上の実施形態によれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することができる。   According to the above embodiment, it is possible to generate panoramic video information by connecting high-resolution video information with a part of the shooting region overlapping at high speed and with high accuracy.

１ パノラマ映像情報生成装置
２ 第１カメラ装置
３ 第２カメラ装置
１１ 撮像情報取得部
１２ 縮小画像情報生成部
１３ シーム情報取得部
１４ シーム情報記憶部
１５ 重み付け設定部
１６ シーム情報調整部
１７ 画像拡大処理部
１８ スティッチング処理部 DESCRIPTION OF SYMBOLS 1 Panorama image information generation apparatus 2 1st camera apparatus 3 2nd camera apparatus 11 Imaging information acquisition part 12 Reduced image information generation part 13 Seam information acquisition part 14 Seam information storage part 15 Weight setting part 16 Seam information adjustment part 17 Image expansion process Part 18 Stitching processing part

Claims (8)

撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、
前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、
前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、
前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部と
を備えることを特徴とするパノラマ映像情報生成装置。 In a panoramic video information generating device that generates first panoramic video information by connecting first video information and second video information in which a part of a shooting area overlaps,
Imaging information for sequentially acquiring frame image information in the first video information as first imaging information and sequentially acquiring frame image information corresponding to the first imaging information in the second video information as second imaging information An acquisition unit;
A reduced image information generation unit that generates first reduced image information obtained by reducing the first imaging information acquired by the imaging information acquisition unit, and generates second reduced image information obtained by reducing the second imaging information;
A joint for connecting the first reduced image information and the second reduced image information from either one of the first reduced image information generated by the reduced image information generation unit and the corresponding second reduced image information. A seam information acquisition unit that searches for a line and acquires position information of the searched joint line as seam information;
Stitching processing for generating panoramic video information by sequentially generating corresponding panoramic image information by connecting the corresponding first imaging information and second imaging information based on the seam information acquired by the seam information acquisition unit. A panoramic video information generating apparatus. 前記縮小画像情報生成部は、前記第１縮小画像情報および前記第２縮小画像情報を生成する際に、撮影対象のコンテンツの種類に基づいて、縦方向と横方向とで異なる値で設定した縮小率で処理を行う
ことを特徴とする請求項１に記載のパノラマ映像情報生成装置。
The reduced image information generation unit generates the first reduced image information and the second reduced image information based on the type of content to be imaged, and sets the reduced image with different values in the vertical direction and the horizontal direction. The panoramic video information generation apparatus according to claim 1 , wherein the processing is performed at a rate .
前記第１映像情報と前記第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶するシーム情報記憶部と、
前記シーム情報記憶部に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する重み付け設定部と、
前記シーム情報取得部で取得された最新のシーム情報を、前記重み付け設定部で設定された重み付けの値が高い位置情報に近づけるように調整するシーム情報調整部とをさらに備え、
前記スティッチング処理部は、前記シーム情報調整部で調整されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する
ことを特徴とする請求項１または２に記載のパノラマ映像情報生成装置。 A seam information storage unit that stores seam information acquired in the past in the process of connecting the first video information and the second video information;
Based on the past seam information stored in the seam information storage unit, the position information in the reduced image information from which the seam information is acquired is weighted so that the higher the number of times the seam information is acquired, the higher the value. A weight setting unit for setting
A seam information adjustment unit that adjusts the latest seam information acquired by the seam information acquisition unit so that the weight value set by the weighting setting unit is close to position information having a high value;
The stitching processing unit generates panoramic image information by sequentially connecting the corresponding first imaging information and second imaging information based on the seam information adjusted by the seam information adjusting unit, thereby generating panoramic video information. 3. The panoramic video information generation apparatus according to claim 1, wherein the information is generated. 前記重み付け設定部は、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する
ことを特徴とする請求項３に記載のパノラマ映像情報生成装置。 4. The panoramic video information generation apparatus according to claim 3, wherein the weight setting unit sets the weight so that the position information around the seam information is higher as it is closer to the corresponding seam information. 前記重み付け設定部は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、重み付けの値が低くなるように設定する
ことを特徴とする請求項３または４に記載のパノラマ映像情報生成装置。 5. The panoramic video information generation apparatus according to claim 3, wherein the weighting setting unit sets the weighting value to be lower as the acquisition timing of the corresponding seam information is older than the current time. 前記シーム情報が取得された縮小画像情報を、当該シーム情報が付加された状態で、元の画像情報の大きさになるように拡大する画像拡大処理部をさらに有し、
前記スティッチング処理部は、前記画像拡大処理部で拡大された画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成する
ことを特徴とする請求項３〜５いずれか１項に記載のパノラマ映像情報生成装置。 An image enlargement processing unit for enlarging the reduced image information from which the seam information has been acquired to the size of the original image information with the seam information added;
The stitching processing unit sequentially generates corresponding panoramic image information by connecting the corresponding first imaging information and second imaging information based on the seam information of the image information enlarged by the image enlargement processing unit. The panoramic video information generation device according to any one of claims 3 to 5, characterized in that: 撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、
前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、
前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、
前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップと
を有することを特徴とするパノラマ映像情報生成方法。 A panoramic video information generating apparatus that generates panoramic video information by connecting the first video information and the second video information in which a part of the shooting area overlaps,
Imaging information that sequentially acquires frame image information in the first video information as first imaging information, and sequentially acquires frame image information corresponding to the first imaging information in the second video information as second imaging information. An acquisition step;
A reduced image information generation step of generating first reduced image information obtained by reducing the first imaging information acquired in the imaging information acquisition step, and generating second reduced image information obtained by reducing the second imaging information;
A first reduced image information generated by said reduced image information generating step, from one of the corresponding second reduced image information, joint for joining a said first reduced image information and the second reduced image information A seam information acquisition step of searching for a line and acquiring the searched joint line position information as seam information;
Stitching processing for generating panoramic video information by sequentially connecting the corresponding first imaging information and second imaging information to generate panoramic image information based on the seam information acquired in the seam information acquisition step. And a panoramic video information generation method. 撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、
前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、
前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、
前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能と
を実行させるためのパノラマ映像情報生成用プログラム。 In a panoramic video information generation device that generates panoramic video information by connecting first video information and second video information in which a part of a shooting area overlaps,
Imaging information for sequentially acquiring frame image information in the first video information as first imaging information and sequentially acquiring frame image information corresponding to the first imaging information in the second video information as second imaging information Acquisition function,
A reduced image information generation function for generating first reduced image information obtained by reducing the first imaging information acquired by the imaging information acquisition function, and generating second reduced image information obtained by reducing the second imaging information;
Joint for connecting the first reduced image information and the second reduced image information from either one of the first reduced image information generated by the reduced image information generation function and the corresponding second reduced image information Seam information acquisition function for searching for a line and acquiring the position information of the searched joint line as seam information;
Stitching processing for generating panoramic video information by sequentially connecting corresponding first imaging information and second imaging information to generate panoramic image information based on the seam information acquired by the seam information acquisition function. Program for generating panoramic video information to execute functions.
JP2016158541A 2016-08-12 2016-08-12 Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program Active JP6606480B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016158541A JP6606480B2 (en) 2016-08-12 2016-08-12 Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016158541A JP6606480B2 (en) 2016-08-12 2016-08-12 Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program

Publications (2)

Publication Number Publication Date
JP2018026744A JP2018026744A (en) 2018-02-15
JP6606480B2 true JP6606480B2 (en) 2019-11-13

Family

ID=61194360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158541A Active JP6606480B2 (en) 2016-08-12 2016-08-12 Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program

Country Status (1)

Country Link
JP (1) JP6606480B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658334B (en) * 2018-12-18 2023-06-30 北京易道博识科技有限公司 Ancient book image stitching method and device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10178564A (en) * 1996-10-17 1998-06-30 Sharp Corp Panorama image generator and recording medium
JP2004328204A (en) * 2003-04-23 2004-11-18 Canon Inc Video signal processor
BRPI0508226A (en) * 2004-02-27 2007-07-17 Intergraph Software Tech Co forming a single image from overlay images
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
JP4828479B2 (en) * 2007-07-24 2011-11-30 日本放送協会 Composite image generation apparatus and composite image generation program
JP5304465B2 (en) * 2009-06-16 2013-10-02 朝日航洋株式会社 Mosaic image generation method, apparatus and program
JP2011119974A (en) * 2009-12-03 2011-06-16 Sony Corp Panoramic image synthesizer, panoramic image synthesis method, and program
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2013228896A (en) * 2012-04-26 2013-11-07 Sony Corp Image processing device, image processing method, and program
WO2013186804A1 (en) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント Image generation device, and image generation method
JP6450589B2 (en) * 2014-12-26 2019-01-09 株式会社モルフォ Image generating apparatus, electronic device, image generating method, and program

Also Published As

Publication number Publication date
JP2018026744A (en) 2018-02-15

Similar Documents

Publication Publication Date Title
JP6308748B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2018513640A (en) Automatic panning shot generation
JP2012242821A (en) Display image generation method
JP5950678B2 (en) Imaging apparatus, control method, and program
JP2009533924A (en) Composition of panoramic images using frame selection
CN113271406B (en) Method and system for image processing with multiple image sources
JP2020171040A (en) Image processing device, image processing method, program and image pickup device
JP7093015B2 (en) Panorama video compositing device, panoramic video compositing method, and panoramic video compositing program
JP2012142829A (en) Image processing device and image processing method
JP6606480B2 (en) Panorama video information generating apparatus, panoramic video information generating method used therefor, and panoramic video information generating program
JP6715217B2 (en) Video processing device, video processing method, and video processing program
JP2013110754A (en) Camera device, and photographing method and program of the same
JP6391356B2 (en) Image processing apparatus, image processing method, and program
CN114245006B (en) Processing method, device and system
JP6758265B2 (en) Video processing equipment, video processing method and video processing program
JP5197064B2 (en) Video camera
JP6857104B2 (en) Video processing equipment, video processing methods and video processing programs
US20150281576A1 (en) Image processing apparatus, image processing method, program, and camera
JP2020048159A (en) Imaging control device, imaging control method, and program
JP2014236244A (en) Image processing system, image processing program, and digital camera
JP2013192152A (en) Imaging apparatus, imaging system, and image processing method
KR101864318B1 (en) Apparatus and method for processing monitoring image
US20220375040A1 (en) Image processing apparatus, image processing method, program, and electronic device
JP2023125905A (en) Image processing device, image processing method, and program
JP2023070220A (en) Camera operation simulation device and program thereof, and camera image generation device and program thereof

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191018

R150 Certificate of patent or registration of utility model

Ref document number: 6606480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150