JP5676092B2 - パノラマ画像生成方法及びパノラマ画像生成プログラム - Google Patents
パノラマ画像生成方法及びパノラマ画像生成プログラム Download PDFInfo
- Publication number
- JP5676092B2 JP5676092B2 JP2009218124A JP2009218124A JP5676092B2 JP 5676092 B2 JP5676092 B2 JP 5676092B2 JP 2009218124 A JP2009218124 A JP 2009218124A JP 2009218124 A JP2009218124 A JP 2009218124A JP 5676092 B2 JP5676092 B2 JP 5676092B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mapping
- virtual
- images
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000013507 mapping Methods 0.000 claims description 88
- 238000011161 development Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000018109 developmental process Effects 0.000 description 17
- 239000002131 composite material Substances 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004078 waterproofing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
の式は、魚眼レンズ32の形状を表し、
の式は、(計算上の)仮想の3次元座標空間における仮想魚眼レンズ36の形状を示す。なお、図4において、被写体Sの全体についての平面展開画像43を生成する場合には、マッピング画像42は、図5に示されるように、全方位カメラ3から入力された円座標画像41を、仮想魚眼レンズ36の全体にマッピングしたものである必要があるが、撮影範囲35内の撮影画像のみについての平面展開画像43を生成する場合には、マッピング画像42は、図4に示されるように、仮想魚眼レンズ36における、撮影範囲35に対応した部分のみに、全方位カメラ3から入力された撮影範囲35内の撮影画像をマッピングしたものであってもよい。
22 LUT(パノラマ画像生成プログラム)
31 CCD(撮像素子)
32 魚眼レンズ
36 仮想魚眼レンズ
41 円座標画像(円座標系の撮影画像)
42 マッピング画像
43 平面展開画像
O
V,V’ 視点
Claims (4)
- 魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、
仮想の3次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合(以下、仮想広角レンズという)を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップ、
前記仮想の3次元座標空間における視点の座標(以下、視点座標という)を求めるステップ、及び
前記視点座標に加えて、視線の情報と視野角の情報とを用いて、前記マッピング画像の少なくとも一部の画像に対して、画素情報の補間処理等を行うことにより、前記マッピング画像の少なくとも一部の画像を、前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップを備えたパノラマ画像生成方法であって、
前記撮影画像を取得するステップにおいて、車体の隣り合う面に配された2つの車載カメラが有する撮像素子で、同時に前記被写体についての2つの円座標系の撮影画像を取得し、
前記マッピング画像を得るステップにおいて、前記2つの円座標系の撮影画像に対応する2つのマッピング画像を得、
前記パノラマ画像を生成するステップにおいて、前記2つのマッピング画像の少なくとも一部の画像を、同じ視点座標から見た2つの平面展開画像に変換し、
前記同じ視点座標から見た2つの平面展開画像を合成するステップをさらに備えたことを特徴とするパノラマ画像生成方法。 - 魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、
仮想の3次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合(以下、仮想広角レンズという)を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップ、
前記仮想の3次元座標空間における視点の座標(以下、視点座標という)を求めるステップ、及び
前記視点座標に加えて、視線の情報と視野角の情報とを用いて、前記逆投影したマッピング画像の少なくとも一部の画像に対して、画素情報の補間処理等を行うことにより、前記逆投影したマッピング画像の少なくとも一部の画像を、前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップを備えたパノラマ画像生成方法であって、
前記撮影画像を取得するステップにおいて、車体の隣り合う面に配された2つの車載カメラが有する撮像素子で、同時に前記被写体についての2つの円座標系の撮影画像を取得し、
前記逆投影したマッピング画像を得るステップにおいて、前記2つの円座標系の撮影画像に対応する2つの逆投影したマッピング画像を得、
前記パノラマ画像を生成するステップにおいて、前記2つの逆投影したマッピング画像の少なくとも一部の画像を、同じ視点座標から見た2つの平面展開画像に変換し、
前記同じ視点座標から見た2つの平面展開画像を合成するステップをさらに備えたことを特徴とするパノラマ画像生成方法。 - 論理集積回路に、
魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、
仮想の3次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合(以下、仮想広角レンズという)を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップと、
前記仮想の3次元座標空間における視点の座標(以下、視点座標という)を求めるステップと、
前記視点座標に加えて、視線の情報と視野角の情報とを用いて、前記マッピング画像の少なくとも一部の画像に対して、画素情報の補間処理等を行うことにより、前記マッピング画像の少なくとも一部の画像を、前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラムであって、
前記撮影画像を入力するステップにおいて、車体の隣り合う面に配された2つの車載カメラが有する撮像素子で同時に取得した、前記被写体についての2つの円座標系の撮影画像を入力し、
前記マッピング画像を得るステップにおいて、前記2つの円座標系の撮影画像に対応する2つのマッピング画像を得、
前記パノラマ画像を生成するステップにおいて、前記2つのマッピング画像の少なくとも一部の画像を、同じ視点座標から見た2つの平面展開画像に変換し、
前記論理集積回路に、前記同じ視点座標から見た2つの平面展開画像を合成するステップをさらに実行させることを特徴とするパノラマ画像生成プログラム。 - 論理集積回路に、
魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、
仮想の3次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合(以下、仮想広角レンズという)を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップと、
前記仮想の3次元座標空間における視点の座標(以下、視点座標という)を求めるステップと、
前記視点座標に加えて、視線の情報と視野角の情報とを用いて、前記逆投影したマッピング画像の少なくとも一部の画像に対して、画素情報の補間処理等を行うことにより、前記マッピング画像の少なくとも一部の画像を、前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラムであって、
前記撮影画像を入力するステップにおいて、車体の隣り合う面に配された2つの車載カメラが有する撮像素子で同時に取得した、前記被写体についての2つの円座標系の撮影画像を入力し、
前記逆投影したマッピング画像を得るステップにおいて、前記2つの円座標系の撮影画像に対応する2つの逆投影したマッピング画像を得、
前記パノラマ画像を生成するステップにおいて、前記2つの逆投影したマッピング画像の少なくとも一部の画像を、同じ視点座標から見た2つの平面展開画像に変換し、
前記論理集積回路に、前記同じ視点座標から見た2つの平面展開画像を合成するステップをさらに実行させることを特徴とするパノラマ画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218124A JP5676092B2 (ja) | 2009-09-18 | 2009-09-18 | パノラマ画像生成方法及びパノラマ画像生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218124A JP5676092B2 (ja) | 2009-09-18 | 2009-09-18 | パノラマ画像生成方法及びパノラマ画像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011066860A JP2011066860A (ja) | 2011-03-31 |
JP5676092B2 true JP5676092B2 (ja) | 2015-02-25 |
Family
ID=43952568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009218124A Expired - Fee Related JP5676092B2 (ja) | 2009-09-18 | 2009-09-18 | パノラマ画像生成方法及びパノラマ画像生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5676092B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108269229A (zh) * | 2016-12-30 | 2018-07-10 | 央视国际网络无锡有限公司 | 一种全景图像或视频的像素位置分布优化方法 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942754B (zh) * | 2013-01-18 | 2017-07-04 | 深圳市腾讯计算机系统有限公司 | 全景图像补全方法及装置 |
US10783696B2 (en) | 2014-04-05 | 2020-09-22 | Sony Interactive Entertainment LLC | Gradient adjustment for texture mapping to non-orthonormal grid |
US9495790B2 (en) * | 2014-04-05 | 2016-11-15 | Sony Interactive Entertainment America Llc | Gradient adjustment for texture mapping to non-orthonormal grid |
US9710881B2 (en) | 2014-04-05 | 2017-07-18 | Sony Interactive Entertainment America Llc | Varying effective resolution by screen location by altering rasterization parameters |
US11302054B2 (en) | 2014-04-05 | 2022-04-12 | Sony Interactive Entertainment Europe Limited | Varying effective resolution by screen location by changing active color sample count within multiple render targets |
KR101650810B1 (ko) * | 2015-03-24 | 2016-08-24 | (주)유디웍스 | 어안 렌즈를 포함하는 차량용 블랙 박스와 이를 포함하는 차량용 블랙 박스 시스템 |
JP6472864B1 (ja) * | 2017-11-29 | 2019-02-20 | 株式会社近江デジタルファブリケーションズ | 画像配信システム、及び配信画像生成方法 |
CN111369684B (zh) * | 2019-12-10 | 2023-09-01 | 杭州海康威视系统技术有限公司 | 目标跟踪方法、装置、设备及存储介质 |
CN111161426B (zh) * | 2019-12-31 | 2023-08-01 | 中航华东光电有限公司 | 基于全景图像的三维显示方法和系统 |
CN113592704B (zh) * | 2020-04-30 | 2024-06-28 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法、装置及系统 |
CN113763530B (zh) * | 2020-06-05 | 2024-04-26 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、计算设备及存储介质 |
CN111815752B (zh) * | 2020-07-16 | 2022-11-29 | 展讯通信(上海)有限公司 | 图像处理方法、装置和电子设备 |
CN111731190B (zh) * | 2020-07-24 | 2022-12-30 | 展讯通信(天津)有限公司 | 车载avm的显示方法、系统、电子设备及存储介质 |
CN112669199B (zh) * | 2020-12-16 | 2022-06-21 | 影石创新科技股份有限公司 | 图像拼接方法、计算机可读存储介质及计算机设备 |
CN113315914B (zh) * | 2021-05-25 | 2022-05-17 | 上海哔哩哔哩科技有限公司 | 全景视频数据处理方法及装置 |
CN113538377B (zh) * | 2021-07-15 | 2022-08-12 | 河北三国新能源科技有限公司 | 一种基于全景环视的驾考车直角转弯压线检测方法和系统 |
CN114051151B (zh) * | 2021-11-23 | 2023-11-28 | 广州博冠信息科技有限公司 | 直播互动方法、装置、存储介质与电子设备 |
CN115984348A (zh) * | 2022-12-13 | 2023-04-18 | 抖音视界有限公司 | 一种全景图像的处理方法、装置、电子设备及存储介质 |
CN117011474B (zh) * | 2023-09-26 | 2024-01-30 | 深圳魔视智能科技有限公司 | 鱼眼图像样本生成方法、装置、计算机设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5359363A (en) * | 1991-05-13 | 1994-10-25 | Telerobotics International, Inc. | Omniview motionless camera surveillance system |
JP2001339716A (ja) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置及び方法 |
WO2001095608A2 (en) * | 2000-06-09 | 2001-12-13 | Interactive Imaging Systems Inc. | A method and apparatus for mapping images and video to create navigable, immersive video and images |
JP2002203254A (ja) * | 2000-08-30 | 2002-07-19 | Usc Corp | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 |
JP2008083184A (ja) * | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | 運転評価システム |
JP5053776B2 (ja) * | 2007-09-14 | 2012-10-17 | 株式会社デンソー | 車両用視界支援システム、車載装置、及び、情報配信装置 |
-
2009
- 2009-09-18 JP JP2009218124A patent/JP5676092B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108269229A (zh) * | 2016-12-30 | 2018-07-10 | 央视国际网络无锡有限公司 | 一种全景图像或视频的像素位置分布优化方法 |
CN108269229B (zh) * | 2016-12-30 | 2021-08-06 | 央视国际网络无锡有限公司 | 一种全景图像或视频的像素位置分布优化方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2011066860A (ja) | 2011-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5676092B2 (ja) | パノラマ画像生成方法及びパノラマ画像生成プログラム | |
JP6311020B2 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
TWI387936B (zh) | A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method | |
TWI397317B (zh) | 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法 | |
US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
JP5454674B2 (ja) | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム | |
KR100922250B1 (ko) | 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템 | |
CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
JP4661829B2 (ja) | 画像データ変換装置、及びこれを備えたカメラ装置 | |
US9591280B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
JP5046132B2 (ja) | 画像データ変換装置 | |
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP1686534A2 (en) | Omnidirectional visual system, image processing method, control program, and readable recording medium | |
JP5029645B2 (ja) | 画像データ変換装置 | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
KR20080111306A (ko) | 집적영상기술에서 기초 영상을 생성하는 방법 및 장치 | |
TWI615808B (zh) | 全景即時影像處理方法 | |
JP5169787B2 (ja) | 画像変換装置および画像変換方法 | |
CN114511447A (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
US20190007672A1 (en) | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections | |
KR102019879B1 (ko) | 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
WO2018110264A1 (ja) | 撮像装置、及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140924 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5676092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |