JP6846651B2 - 画像処理装置及び撮像装置 - Google Patents
画像処理装置及び撮像装置 Download PDFInfo
- Publication number
- JP6846651B2 JP6846651B2 JP2018512105A JP2018512105A JP6846651B2 JP 6846651 B2 JP6846651 B2 JP 6846651B2 JP 2018512105 A JP2018512105 A JP 2018512105A JP 2018512105 A JP2018512105 A JP 2018512105A JP 6846651 B2 JP6846651 B2 JP 6846651B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- cutout
- angle
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000003384 imaging method Methods 0.000 title claims description 24
- 238000013507 mapping Methods 0.000 claims description 100
- 238000003702 image correction Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 39
- 238000012937 correction Methods 0.000 description 27
- 238000005520 cutting process Methods 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 238000013459 approach Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Description
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
[1−1.構成]
図1は、本開示に係る画像処理装置の一実施の形態である画像処理部を備えたビデオカメラの構成を示した図である。ビデオカメラ100は動画または静止画が撮影可能な撮像装置である。図1に示すように、ビデオカメラ100は、被写体を撮像し画像データを生成するカメラ部30と、カメラ部30により生成された画像データを処理する画像処理部50とを備える。さらに、ビデオカメラ100はユーザにより設定された設定情報を入力する設定入力部22を備える。
以上のように構成されたビデオカメラ100について、その動作を以下説明する。
最初に、本実施の形態のビデオカメラ100において実施される広角歪み補正について説明する。一般に被写体を広角レンズで撮影した場合、撮像された画像の中心から離れるにしたがって被写体に歪みが見られる。本実施形態ではこのような画像の周縁部に見られる歪みを「広角歪み(またはボリューム歪み)」という。広角歪みは、画像の中心からの距離に応じてその歪みの程度が大きくなる。図4Aは、図2に示す被写体を広角で撮影した場合に生成される撮像画像を示した図である。図4Aに示すように、広角で撮影した場合、例えば、画像IM1の端の方では被写体80、82及びその近傍において、画像の中心からの距離に応じた、水平方向と垂直方向に幅が拡張された歪み(広角歪み)が生じる。
0)写像面Pm上に撮像画像を、撮像画像の中心を通る写像面Pmの法線が球Psの中心を通るように仮想的に配置
1)写像面Pmから球面Psへ写像(写像F)(図5A−5B) 2)球面Psから補正写像面Pcへ写像(写像G)(図5C−5D)
3)補正写像面Pcから写像面Pmへ写像(写像H)(図5E−5F)
P1=HGF・P0
本実施形態のビデオカメラ100は、カメラを動かさず固定したまま、ユーザの視線に応じた画像を擬似的に生成することができる。以下、図6A〜図6Fを用いて、視線に応じた画像を擬似的に生成するための方法を説明する。
図8Aは、全体画像補正部14における広角歪の補正処理を説明したフローチャートである。図8Bは、広角歪補正処理の前後における画素位置の対応関係を説明するための図である。
rx=(H/2)/tan(A/2) (1)
ここで、Hは撮像画像の水平方向のサイズ、Aはビデオカメラ100の画角。
x=rx・tanθ (2)
但し θ=asin(x‘/rx) (2b)
上式(2)により、補正後の画像における各点(画素)の水平方向の位置が、補正前の画像におけるどの位置に対応するかがわかる。
y=ry・tanθ (3)
但し θ=asin(y‘/ry) (3b)
ここで、y‘は補正後の画像における画素の垂直方向の位置である。yは、補正後の画像における画素に対応する、撮像画像における対応画素の垂直方向の位置である。垂直方向に関する球面半径ryは、視点Vpから写像面pmまでの距離となる。すなわち、ryは次式で求められる。
ry=rx・cosθ (4)
図8Cは、切り出し処理部18における切り出し処理(視線変換含む)を説明したフローチャートである。図8Dは、処理の前後における画素位置の対応関係を説明するための図である。本切り出し処理が開始される前に予め撮像画像において切り出し領域が設定されている。切り出し領域は、例えば、ユーザにより設定されたり、撮像画像において自動で認識されたオブジェクトの位置に基づき設定されたりする。ユーザの視線SL(すなわち、ユーザが注視する画像上の点)は予め指定されている。
rx=(H/2)/tan(A/2) (5)
ここで、Hは撮像画像の水平方向のサイズ、Aはビデオカメラ100の画角。
φx=atan(注目点の水平位置)/rx (6a)
φy=atan(注目点の垂直位置)/rx (6b)
ここで、φxは水平方向の視線SLの傾き角度、φyは垂直方向の視線SLの傾き角度である。注目点とはユーザが注目している画像上の点であり、例えば、写像面Pm上の位置xsに対応する(図8D参照)。
x=rx・tan(θ+φx) (7)
但し θ=atan(x‘/rx) (7b)
上式(7)により、切り出し画像における各点(画素)の水平方向の位置(x‘)が撮像画像におけるどの位置(x)に対応するかがわかる。
y=ry・tan(θ+φy) (8)
但し θ=asin(y‘/ry) (8b)
ここで、y‘は切り出し画像における画素の垂直方向の位置である。yは、切り出し画像における画素に対応する、撮像画像における対応画素の垂直方向の位置である。垂直方向に関する球面半径ryは次式で求められる。
ry=rx・cos(θ+φx) (9)
図9は、全体画像における切り出し領域を説明した図である。全体画像IM2において切り出し領域R4が設定されている。図10に、切り出し領域R4の領域を拡大して表示している。図11は、切り出し処理部18により切り出し領域R4について切り出されて生成された切り出し画像IM31を示した図である。図11に示す切り出し画像IM31には、広角歪み補正及び視線変換が適用されている。切り出し画像において、処理前の切り出し領域を全て含むように処理を行ってもよいし(元の切り出し範囲に含まれなかった範囲も処理後の画像に含まれる場合がある)、処理前の切り出し範囲の画素だけに対して処理を行っても良い(元の切り出し範囲に含まれていた範囲が処理後の画像に含まれない場合がある)。
上述の例では、球面への写像により広角歪みを補正したが、広角歪みの補正方法はこれに限定されない。切り出し領域の変形によっても広角歪みを補正することができる。広角歪みは、画像の領域(画像内の位置)により歪みの程度(強さ)が異なる。すなわち、広角歪みは、画像の中心からより遠い領域ほど、すなわち画像の端に近い領域ほど顕著に発生し、元の被写体の形状に対して伸びが目立つ画像となる。このように広角歪みは画像内の位置に応じて歪みの程度が異なるため、広角歪みを補正するために、切り出し領域の形状を切り出し位置に応じて変化させてもよい。切り出し領域は必ずしも矩形とはならず、台形となる場合もある。そのような場合、台形の切り出し画像を矩形の画像に変換(台形補正)する。この変換によって広角歪みが補正される。
x‘=(a・x+b・y+c)/(g・x+h・y+1)
y‘=(d・x+e・y+f)/(g・x+h・y+1)
以上のように本実施の形態のビデオカメラ(撮像装置の一例)は、レンズを含む光学系10と、光学系10を介して入力した被写体像を撮像し、画像データを生成する撮像部12と、撮像部12で生成された画像データを処理する画像処理部50(画像処理装置の一例)と、を備える。画像処理部50は、画像データを入力し、入力した画像データを処理する画像補正部55と、画像補正部55で処理された画像データを出力する出力部24とを備える。画像処理部50(全体画像補正部14及び切り出し処理部18)は、撮像画像を写像面Pm(第1の平面の一例)に配置し、写像面Pmに配置された撮像画像の一部または全部の領域に含まれる各画素を所定の球面Ps(曲面の一例)上に写像し、球面Ps上の写像された各点を写像面Pm、Pm1(第2の平面の一例)上に写像することにより画像データを生成する。
。これにより画像における広角歪みを補正することができる。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
Claims (13)
- 画像データを入力し、入力した画像データを処理する画像補正部と、
前記画像補正部で処理された画像データを出力する出力部と、を備え、
前記画像補正部は、
ユーザによる指定または画像内のオブジェクトの位置に基づき視線の向きを判定し、前記視線の向きに基づいて前記入力した画像データから切り出し画像データを生成し、
前記切り出し画像データが示す入力画像を仮想の第1の平面に配置し、前記第1の平面に配置された前記切り出し画像データに含まれる各画素を仮想の所定の曲面上に写像し、前記曲面上の写像された各点を仮想の第2の平面上に写像することにより得られる、新たな画像データを生成する、
画像処理装置。 - 前記画像補正部は、前記切り出し画像データにおける各画素について、前記曲面上の写像された各点を正射影により前記第2の平面上に写像する、
請求項1に記載の画像処理装置。 - 前記画像補正部は、前記切り出し画像データにおける各画素について、前記曲面上の写像された各点を中心射影により前記第2の平面上に写像する、
請求項1に記載の画像処理装置。 - 前記画像補正部は、
前記視線の向きにおける角度の変化量を検出し、
前記第1の平面に対して前記第2の平面を前記角度の変化量だけ傾けて配置する、
請求項1から3のいずれかに記載の画像処理装置。 - 前記画像補正部は、前記入力画像における一部の領域に含まれる各画素を所定の曲面上に写像し、前記曲面上の写像された各点を平面上に写像することにより、前記切り出し画像データを生成し、
前記画像補正部は、前記一部の領域の位置、向きを連続的に変化させながら、前記切り出し画像データを連続的に生成する、
請求項1から4のいずれかに記載の画像処理装置。 - 前記画像補正部は、前記一部の領域の位置の軌跡が円弧状または直線状になるように前記一部の領域の位置を変化させる、
請求項5に記載の画像処理装置。 - 前記画像補正部は、前記一部の領域の位置の変化量を所定の関数を用いて算出する、
請求項5に記載の画像処理装置。 - 前記所定の関数は累積分布関数である、請求項7に記載の画像処理装置。
- 前記画像補正部は、前記画像データを撮像したカメラの俯角または仰角に応じて、前記第1の平面に対して前記第2の平面を傾けて配置する、
請求項1から8のいずれかに記載の画像処理装置。 - 前記曲面は球面または円柱面である、請求項1から9のいずれかに記載の画像処理装置。
- 前記画像データが示す画像は、画像の中心からの距離に応じて歪みの程度が大きくなる広角歪みを含む画像である、請求項1から10のいずれかに記載の画像処理装置。
- 前記画像補正部は、前記オブジェクトの種類を認識し、前記オブジェクトの動きに基づいて前記切り出し画像データの切り出し形状を変形する、請求項1から11に記載の撮像装置。
- レンズを含む光学系と
前記光学系を介して入力した被写体像を撮像し、画像データを生成する撮像部と、
前記撮像部で生成された画像データが示す画像を処理する、請求項1ないし12のいずれかに記載の画像処理装置と、を備えた撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082305 | 2016-04-15 | ||
JP2016082305 | 2016-04-15 | ||
PCT/JP2017/015377 WO2017179722A1 (ja) | 2016-04-15 | 2017-04-14 | 画像処理装置及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017179722A1 JPWO2017179722A1 (ja) | 2019-02-21 |
JP6846651B2 true JP6846651B2 (ja) | 2021-03-24 |
Family
ID=60042683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512105A Active JP6846651B2 (ja) | 2016-04-15 | 2017-04-14 | 画像処理装置及び撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11463620B2 (ja) |
JP (1) | JP6846651B2 (ja) |
WO (1) | WO2017179722A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150101915A (ko) * | 2014-02-27 | 2015-09-04 | 삼성전자주식회사 | 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스 |
US10593014B2 (en) * | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
CN113015884B (zh) * | 2018-11-20 | 2023-10-10 | 索尼半导体解决方案公司 | 图像处理装置和图像处理方法 |
JP2021180379A (ja) * | 2020-05-12 | 2021-11-18 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
TWI775557B (zh) * | 2021-08-09 | 2022-08-21 | 華碩電腦股份有限公司 | 影像擷取方法及電子裝置 |
CN116152121B (zh) * | 2023-04-20 | 2023-07-04 | 合肥高维数据技术有限公司 | 基于畸变参数的曲面屏生成方法、矫正方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6201574B1 (en) * | 1991-05-13 | 2001-03-13 | Interactive Pictures Corporation | Motionless camera orientation system distortion correcting sensing element |
JP4169462B2 (ja) | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
JP3891402B2 (ja) | 2001-10-18 | 2007-03-14 | 日本放送協会 | 映像切出し制御装置 |
US8525871B2 (en) * | 2008-08-08 | 2013-09-03 | Adobe Systems Incorporated | Content-aware wide-angle images |
JP4629131B2 (ja) * | 2008-09-03 | 2011-02-09 | 大日本印刷株式会社 | 画像変換装置 |
US9288476B2 (en) * | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
JP2013120347A (ja) | 2011-12-08 | 2013-06-17 | Samsung Yokohama Research Institute Co Ltd | 画像表示システム及び画像表示方法 |
JP2015156051A (ja) * | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
KR101347062B1 (ko) * | 2012-06-27 | 2014-01-10 | 숭실대학교산학협력단 | 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법 |
JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP5666069B1 (ja) | 2013-06-24 | 2015-02-12 | 三菱電機株式会社 | 座標算出装置及び方法、並びに画像処理装置及び方法 |
JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
US9277122B1 (en) * | 2015-08-13 | 2016-03-01 | Legend3D, Inc. | System and method for removing camera rotation from a panoramic video |
-
2017
- 2017-04-14 JP JP2018512105A patent/JP6846651B2/ja active Active
- 2017-04-14 WO PCT/JP2017/015377 patent/WO2017179722A1/ja active Application Filing
-
2018
- 2018-10-12 US US16/158,538 patent/US11463620B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2017179722A1 (ja) | 2019-02-21 |
US11463620B2 (en) | 2022-10-04 |
WO2017179722A1 (ja) | 2017-10-19 |
US20190045122A1 (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6846651B2 (ja) | 画像処理装置及び撮像装置 | |
JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
TWI679875B (zh) | 用於產生360度深度圖的影像裝置 | |
JP4975592B2 (ja) | 撮像装置 | |
US8792039B2 (en) | Obstacle detection display device | |
US9313411B2 (en) | Camera, distortion correction device and distortion correction method | |
JP5613041B2 (ja) | カメラ装置、画像処理システムおよび画像処理方法 | |
JP2013009050A (ja) | 画像処理装置、画像処理方法 | |
CN110580718B (zh) | 图像装置的校正方法及其相关图像装置和运算装置 | |
TWI676855B (zh) | 投影機校正方法與使用此方法的投影系統 | |
JP2003134375A (ja) | 画像撮影システム | |
TWI766206B (zh) | 影像的修正方法及其裝置 | |
US8817127B2 (en) | Image correction device for image capture device and integrated circuit for image correction device | |
JP6677980B2 (ja) | パノラマビデオデータの処理装置、処理方法及び処理プログラム | |
JP2009123131A (ja) | 撮像装置 | |
JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
JP2009060301A (ja) | 画像処理方法と該画像処理方法を用いた撮像装置 | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
CN108513058B (zh) | 可补偿图像变化的图像装置 | |
JP2010178018A (ja) | 車両の周辺を画像表示するための装置 | |
JP2017073620A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
US9832377B2 (en) | Data acquiring method and electronic device thereof | |
US20230031480A1 (en) | System for tracking camera and control method thereof | |
WO2023135842A1 (ja) | 距離計測装置および方法 | |
TW202406327A (zh) | 全景影像處理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6846651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |