JP6019729B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6019729B2 JP6019729B2 JP2012109898A JP2012109898A JP6019729B2 JP 6019729 B2 JP6019729 B2 JP 6019729B2 JP 2012109898 A JP2012109898 A JP 2012109898A JP 2012109898 A JP2012109898 A JP 2012109898A JP 6019729 B2 JP6019729 B2 JP 6019729B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- images
- development
- viewpoint images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
上記補間処理部は、複数の視点画像に基づいて、上記複数の視点画像を補間する複数の補間画像を生成する。
上記記憶部は、複数の現像パラメータを記憶する。
上記現像処理部は、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと上記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する。
現像パラメータは例えばユーザにより選択される。これによりユーザの希望に合致した被写体画像を生成することができる。
上記撮像部は、複数の視点画像を撮像可能に構成される。
上記制御部は、上記複数の視点画像に基づいて上記複数の視点画像を補間する複数の補間画像を生成し、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと、予め選択された現像パラメータとを用いて、被写体画像を現像する。
上記通信部は、サーバと通信可能に構成される。
上記制御部は、複数の視点画像とユーザによって選択された現像パラメータとをサーバへ送信するように上記通信部を制御可能である。上記制御部は、上記複数の視点画像および上記複数の視点画像を補間する複数の補間画像各々における光線ベクトルと、上記選択された現像パラメータとを用いて、上記サーバが生成した被写体画像を、上記サーバから受信するように上記通信部を制御可能である。
上記複数の視点画像に基づいて、上記複数の視点画像を補間する複数の補間画像が生成される。
現像パラメータが選択される。
上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと、選択された上記現像パラメータとを用いて、被写体画像が現像される。
図1は、本技術の一実施形態におけるシステムの構成の概略を示す図である。
図2は、サーバ100のハードウェア構成を示した図である。
図3は、ネットワーク端末200のハードウェア構成を示したブロック図である。
撮像装置300は、複数のカメラモジュールを同一平面内にマトリクス状に配列したカメラアレイ(多視点カメラ)で構成される。図4は、カメラモジュール310の一構成例を示す概略斜視図であり、図5は、複数のカメラモジュール310を有するカメラアレイ320の概略斜視図である。
図6は、サーバ100が有するソフトウェアモジュールの構成を示したブロック図である。同図に示すように、サーバ100は、通信制御部111、補間処理部112、現像処理部113等を有する。
補間処理部112は、ネットワーク端末200(又は携帯端末400)から送信された複数の視点画像に基づいて、これら複数の視点画像を補間する複数の補間画像を生成する。補間処理部112は、隣り合う2つの視点画像から間の画像を補間技術により生成する。
現像処理部113は、複数の視点画像および複数の補間画像各々における光線ベクトルと、複数の現像パラメータから選択されたパラメータとを用いて、被写体像を現像(再構築)する。
図14は、サーバ100の基本的な処理手順を示すフローチャートである。
次に、以上のように構成されたシステムの詳細を、サーバ100、ネットワーク端末200及び撮像装置300の動作とともに説明する。本実施形態において、サーバ100及びネットワーク端末200における動作は、CPUと、その制御下において実行される上記各ソフトウェアモジュールとで協働して行われる。
(1)複数の視点画像に基づいて、前記複数の視点画像を補間する複数の補間画像を生成する補間処理部と、
複数の現像パラメータを記憶する記憶部と、
前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと前記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する現像処理部と
を具備する画像処理装置。
(2)上記(1)に記載の画像処理装置であって、
前記記憶部は、前記複数の現像パラメータに相当する複数種の光学系を記憶し、
前記現像処理部は、前記記憶部に記憶された前記複数種の光学系の中から1つの光学系を選択し、選択された光学系に前記光線ベクトルを入射させたときに取得される画像を前記被写体画像として生成する
画像処理装置。
(3)上記(1)又は(2)に記載の画像処理装置であって、
前記補間処理部は、前記複数の視点画像に基づいて、被写体像のデプス情報を取得し、前記複数の視点画像と前記デプス情報とに基づいて、前記複数の補間画像を生成する
画像処理装置。
(4)上記(1)〜(3)のいずれか1つに記載の画像処理装置であって、
情報処理装置から前記複数の視点画像を受信し、前記情報処理装置へ前記被写体画像を送信することが可能な通信部をさらに具備する
画像処理装置。
(5)上記(4)に記載の画像処理装置であって、
前記現像処理部は、前記通信部を制御することで、前記複数の現像パラメータの選択候補を前記情報処理装置へ送信し、かつ、選択された前記選択候補を前記情報処理装置から受信する
画像処理装置。
(6)上記(5)に記載の画像処理装置であって、
前記選択候補は、前記光学系を構成するレンズに関する情報、フォーカス位置及び絞り値の少なくとも1つを含む
画像処理装置。
(7)複数の視点画像を撮像可能な撮像部と、
前記複数の視点画像に基づいて前記複数の視点画像を補間する複数の補間画像を生成し、前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、予め選択された現像パラメータとを用いて、被写体画像を現像する制御部と
を具備する情報処理装置。
(8)サーバと通信可能な通信部と、
複数の視点画像とユーザによって選択された現像パラメータとをサーバへ送信し、
前記複数の視点画像および前記複数の視点画像を補間する複数の補間画像各々における光線ベクトルと、前記選択された現像パラメータとを用いて、前記サーバが生成した被写体画像を、前記サーバから受信する
ように前記通信部を制御可能な制御部と
を具備する情報処理装置。
(9)上記(8)に記載の情報処理装置であって、
前記複数の視点画像を取得可能な撮像部をさらに具備する
情報処理装置。
(10)多視点カメラを用いて複数の視点画像を取得し、
前記複数の視点画像に基づいて、前記複数の視点画像の間を補間する複数の補間画像を生成し、
現像パラメータを選択し、
前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、選択された前記現像パラメータとを用いて、被写体画像を現像する
画像処理方法。
108…記憶部
112…補間処理部
113…現像処理部
200…ネットワーク端末
300…撮像装置
500…情報処理装置
Claims (12)
- 複数の視点画像及び前記複数の視点画像から補間された複数の補間画像における光線ベクトルを現像パラメータに相当する光学系に入射した際に得られる画像を被写体画像として生成する現像処理部
を具備する画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記現像処理部は、複数の現像パラメータに相当する複数種の光学系から選択された光学系に前記光線ベクトルを入射した際に得られる画像を前記被写体画像として生成する
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記複数の現像パラメータに相当する複数種の光学系を記憶する記憶部をさらに具備する
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記現像処理部は、前記光線ベクトルと前記現像パラメータとを用いた光学シミュレーションを行うことによって前記被写体画像を生成する
画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記現像処理部は、前記光学シミュレーションを行うことによって、前記光線ベクトルが示す光線が仮想の撮像素子のどの位置に到達するかを求める
画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記現像パラメータは、レンズの設計情報、フィルタ、フォーカス位置、絞り値、ホワイトバランス、露出補正値の少なくとも1つを含む
画像処理装置。 - 請求項6に記載の画像処理装置であって、
前記レンズの設計情報は、レンズ形状、レンズ配置、レンズ材質、レンズコーティングの少なくとも1つを含む
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記複数の視点画像を用いて前記複数の補間画像を生成する補間処理部をさらに具備する
画像処理装置。 - 請求項8に記載の画像処理装置であって、
前記補間処理部は、前記複数の視点画像と前記複数の視点画像から求められたデプス情報とに基づいて、前記複数の補間画像を生成する
画像処理装置。 - 請求項9に記載の情報処理装置であって、
被写体を撮像して前記複数の視点画像を生成する複数の撮像部をさらに具備する
画像処理装置。 - 複数の視点画像から補間された複数の補間画像を生成し、
前記複数の視点画像及び前記複数の補間画像における光線ベクトルを現像パラメータに相当する光学系に入射した際に得られる画像を被写体画像として生成する
画像処理方法。 - 画像処理装置に、
複数の視点画像から補間された複数の補間画像を生成するステップと、
前記複数の視点画像及び前記複数の補間画像における光線ベクトルを現像パラメータに相当する光学系に入射した際に得られる画像を被写体画像として生成するステップと
を実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012109898A JP6019729B2 (ja) | 2012-05-11 | 2012-05-11 | 画像処理装置、画像処理方法及びプログラム |
CN201380021885.7A CN104255026B (zh) | 2012-05-11 | 2013-04-24 | 图像处理设备、信息处理设备和图像处理方法 |
CN201810637286.2A CN108833882A (zh) | 2012-05-11 | 2013-04-24 | 图像处理设备、方法和存储介质 |
PCT/JP2013/002761 WO2013168381A1 (en) | 2012-05-11 | 2013-04-24 | Image processing apparatus and image processing method |
US14/397,540 US20150124052A1 (en) | 2012-05-11 | 2013-04-24 | Image processing apparatus, information processing apparatus, and image processing method |
TW102114901A TW201401220A (zh) | 2012-05-11 | 2013-04-25 | 影像處理裝置,資訊處理裝置,及影像處理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012109898A JP6019729B2 (ja) | 2012-05-11 | 2012-05-11 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016180103A Division JP6376194B2 (ja) | 2016-09-15 | 2016-09-15 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013238927A JP2013238927A (ja) | 2013-11-28 |
JP6019729B2 true JP6019729B2 (ja) | 2016-11-02 |
Family
ID=48446569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012109898A Expired - Fee Related JP6019729B2 (ja) | 2012-05-11 | 2012-05-11 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150124052A1 (ja) |
JP (1) | JP6019729B2 (ja) |
CN (2) | CN108833882A (ja) |
TW (1) | TW201401220A (ja) |
WO (1) | WO2013168381A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI504936B (zh) * | 2014-02-12 | 2015-10-21 | Htc Corp | 影像處理裝置 |
US9807372B2 (en) | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
RU2692432C2 (ru) * | 2014-06-19 | 2019-06-24 | Конинклейке Филипс Н.В. | Способ и устройство для формирования трехмерного изображения |
JP6684454B2 (ja) * | 2015-04-28 | 2020-04-22 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP6674643B2 (ja) * | 2015-04-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10306146B2 (en) | 2015-04-28 | 2019-05-28 | Sony Corporation | Image processing apparatus and image processing method |
JP2016208438A (ja) | 2015-04-28 | 2016-12-08 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US20190208109A1 (en) * | 2016-10-26 | 2019-07-04 | Sony Corporation | Image processing apparatus, image processing method, and program |
GB2556910A (en) * | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07287761A (ja) * | 1994-04-19 | 1995-10-31 | Canon Inc | 画像処理装置及び画像処理方法 |
JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
JP2000207549A (ja) * | 1999-01-11 | 2000-07-28 | Olympus Optical Co Ltd | 画像処理装置 |
US7084910B2 (en) * | 2002-02-08 | 2006-08-01 | Hewlett-Packard Development Company, L.P. | System and method for using multiple images in a digital image capture device |
JP2004198732A (ja) * | 2002-12-18 | 2004-07-15 | Sony Computer Entertainment Inc | 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体 |
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
JP5224124B2 (ja) * | 2007-12-12 | 2013-07-03 | ソニー株式会社 | 撮像装置 |
CN100563339C (zh) * | 2008-07-07 | 2009-11-25 | 浙江大学 | 一种利用深度信息的多通道视频流编码方法 |
JP5144456B2 (ja) * | 2008-10-09 | 2013-02-13 | 富士フイルム株式会社 | 画像処理装置および方法、画像再生装置および方法並びにプログラム |
JP4706882B2 (ja) | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
US9218644B2 (en) * | 2009-12-17 | 2015-12-22 | Broadcom Corporation | Method and system for enhanced 2D video display based on 3D video input |
JP2011139209A (ja) | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置および方法 |
US8860833B2 (en) * | 2010-03-03 | 2014-10-14 | Adobe Systems Incorporated | Blended rendering of focused plenoptic camera data |
JP5657343B2 (ja) * | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
JP2012205015A (ja) * | 2011-03-24 | 2012-10-22 | Casio Comput Co Ltd | 画像処理装置及び画像処理方法、並びにプログラム |
EP2792149A4 (en) * | 2011-12-12 | 2016-04-27 | Intel Corp | SCENE SEGMENTATION BY USING PREVIOUS IMAGING MOVEMENTS |
-
2012
- 2012-05-11 JP JP2012109898A patent/JP6019729B2/ja not_active Expired - Fee Related
-
2013
- 2013-04-24 CN CN201810637286.2A patent/CN108833882A/zh active Pending
- 2013-04-24 CN CN201380021885.7A patent/CN104255026B/zh not_active Expired - Fee Related
- 2013-04-24 WO PCT/JP2013/002761 patent/WO2013168381A1/en active Application Filing
- 2013-04-24 US US14/397,540 patent/US20150124052A1/en not_active Abandoned
- 2013-04-25 TW TW102114901A patent/TW201401220A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
JP2013238927A (ja) | 2013-11-28 |
CN108833882A (zh) | 2018-11-16 |
WO2013168381A1 (en) | 2013-11-14 |
US20150124052A1 (en) | 2015-05-07 |
CN104255026A (zh) | 2014-12-31 |
CN104255026B (zh) | 2018-07-17 |
TW201401220A (zh) | 2014-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6019729B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9600859B2 (en) | Image processing device, image processing method, and information processing device | |
CN102821238B (zh) | 宽视场超高分辨率成像系统 | |
US8581998B2 (en) | Image sensing apparatus and method of controlling the image sensing apparatus | |
EP3136707A1 (en) | Image shooting terminal and image shooting method | |
CN108432230B (zh) | 一种成像设备和一种用于显示场景的图像的方法 | |
JP2018514969A (ja) | ライトフィールド・メタデータ | |
CN105191280A (zh) | 在多透镜相机中的成像器上移动图像 | |
US9288472B2 (en) | Image processing device and method, and image capturing device | |
US20210377432A1 (en) | Information processing apparatus, information processing method, program, and interchangeable lens | |
CN105657394A (zh) | 基于双摄像头的拍摄方法、拍摄装置及移动终端 | |
JP2014016965A (ja) | 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 | |
CN103888641A (zh) | 图像处理装置及图像再对焦方法 | |
CN111669564A (zh) | 图像重建方法、系统、设备及计算机可读存储介质 | |
JP2018082298A (ja) | 画像表示システム、通信システム、画像表示方法、及びプログラム | |
EP3190566A1 (en) | Spherical virtual reality camera | |
JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
CN111061123B (zh) | 一种旅游景观展示的旋转全景成像系统及使用方法 | |
JP6376194B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014110444A (ja) | 撮像装置 | |
JP6673459B2 (ja) | 画像処理装置、画像処理システム及びプログラム | |
WO2017159014A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP7512896B2 (ja) | 情報処理装置、情報処理方法、プログラム、および、情報処理システム | |
JP6586819B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
Gong et al. | Model-based multiscale gigapixel image formation pipeline on GPU |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6019729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |