JP6339609B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6339609B2 JP6339609B2 JP2016032444A JP2016032444A JP6339609B2 JP 6339609 B2 JP6339609 B2 JP 6339609B2 JP 2016032444 A JP2016032444 A JP 2016032444A JP 2016032444 A JP2016032444 A JP 2016032444A JP 6339609 B2 JP6339609 B2 JP 6339609B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- marker
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 192
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000003550 marker Substances 0.000 claims description 122
- 238000003384 imaging method Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000001915 proofreading effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
まず、図1を用いて、実施形態に係る画像処理の一例について説明する。図1は、実施形態に係る画像処理の一例を示す図である。図1に示すように、実施形態に係る画像処理システム1には、ユーザ端末10と、画像処理装置100とが含まれる。ユーザ端末10と画像処理装置100とは、図示しないネットワークN(例えば、インターネット)を介して互いに通信可能に接続される。なお、画像処理システム1に含まれる各装置の台数は、図1に示した例に限られない。例えば、画像処理システム1には、複数台のユーザ端末10が含まれてもよい。
次に、図2を用いて、実施形態に係る画像処理装置100の構成について説明する。図2は、実施形態に係る画像処理装置100の構成例を示す図である。図2に示すように、画像処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、図示しないネットワークNと有線又は無線で接続され、ユーザ端末10との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図2に示すように、記憶部120は、画像データ記憶部121と、自由視点画像記憶部122とを有する。
画像データ記憶部121は、ユーザ端末10から入稿された画像データに関する情報を記憶する。ここで、図3に、実施形態に係る画像データ記憶部121の一例を示す。図3に示した例では、画像データ記憶部121は、「入稿ID」、「画像データ」といった項目を有する。
自由視点画像記憶部122は、画像処理装置100が生成した自由視点画像に関する情報を記憶する。ここで、図4に、実施形態に係る自由視点画像記憶部122の一例を示す。図4に示した例では、自由視点画像記憶部122は、「自由視点画像ID」、「元画像データ」、「校正データ」、「変換後画像データ」、「初期表示画面」といった項目を有する。
制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、画像処理装置100内部の記憶装置に記憶されている各種プログラム(画像処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
受付部131は、視点位置が異なる複数の画像データを受け付ける。具体的には、実施形態に係る受付部131は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データの入稿を受け付ける。
校正部132は、マーカーが有するパラメータに基づいて、受付部131によって受け付けられた複数の画像データに関する校正を行う。具体的には、実施形態に係る校正部132は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。なお、後述する生成部133は、校正部132による校正の結果に基づいて、元画像データに所定の変換処理を行うことで、自由視点画像を生成する。
生成部133は、校正部132によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。
配信部134は、生成部133によって生成された自由視点画像を配信する。具体的には、実施形態に係る配信部134は、生成部133によって生成され、自由視点画像記憶部122に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末10に配信する。
次に、図11を用いて、実施形態に係る画像処理装置100による画像処理の手順について説明する。図11は、実施形態に係る画像処理手順を示すフローチャートである。
上述してきた実施形態に係る画像処理装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置100の他の実施形態について説明する。
上記実施形態では、画像処理装置100は、円マーカーを利用して各画像データに関する校正処理を行うことを説明した。しかし、画像処理装置100は、円マーカー以外のマーカーを利用してもよい。
また、画像処理装置100は、マーカーとして、互いの位置関係が既知である4つ以上の点をマーカーとして用いることもできる。この場合、画像処理装置100は、各画像データに少なくとも4つの点が含まれている画像データの入稿を受け付ける。
上記実施形態では、画像処理装置100は、オークションの出品を所望するユーザから入稿された複数の画像データに基づいて、自由視点画像を生成する処理を例として示した。この場合、画像処理装置100は、生成した自由視点画像を、自由視点画像の元となる複数の画像データを入稿したユーザ端末10もしくはユーザ端末10を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納するようにしてもよい。
上記実施形態においては、自由視点画像がユーザに利用される例として、オークションサイトへの商品の出品等を示した。しかし、画像処理装置100は、生成した自由視点画像を様々な対象に配信してもよい。例えば、画像処理装置100は、ユーザ端末10ではなく、直接、ウェブサーバ等に配信するサービスを行ってもよい。また、画像処理装置100は、主としてUGC(User-Generated Contents)を掲載するサイトであるUGM(User-Generated Media)、またはCGM(Consumer-Generated Media)等に、生成した自由視点画像を配信してもよい。なお、UGMには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、SNS(Social Networking Service)等が含まれる。
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上述してきた実施形態に係る画像処理装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、画像処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
上述してきたように、実施形態に係る画像処理装置100は、受付部131と、校正部132と、生成部133とを有する。受付部131は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部132は、マーカーが有するパラメータに基づいて、受付部131によって受け付けられた複数の画像データに関する校正を行う。生成部133は、校正部132によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。
10 ユーザ端末
100 画像処理装置
110 通信部
120 記憶部
121 画像データ記憶部
122 自由視点画像記憶部
130 制御部
131 受付部
132 校正部
133 生成部
134 配信部
Claims (6)
- 視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーとして、同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付ける受付部と、
前記受付部によって受け付けられた複数の画像データの各々において、前記円マーカーにおける内円と外円との径の比率に基づいて当該複数の画像データに含まれる円マーカーを識別するとともに、当該円マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該円マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該円マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正部と、
前記校正部によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成部と、
を備えることを特徴とする画像処理装置。 - 前記校正部は、
前記円マーカーが有するパラメータを用いて推定される当該円マーカーの法線を含む平面情報と、当該平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、前記複数の画像データに関する校正を行う、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生成部によって生成された自由視点画像を配信する配信部、
をさらに備え、
前記受付部は、
端末装置から前記複数の画像データの入稿を受け付けるとともに、当該端末装置を識別する情報を受け付け、
前記配信部は、
前記受付部によって受け付けられた前記端末装置を識別する情報に基づいて、当該端末装置に前記自由視点画像を配信する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記生成部は、
生成した前記自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿した端末装置もしくは当該端末装置を利用するユーザを識別する識別情報、又は、当該ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する、
ことを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。 - コンピュータが実行する画像処理方法であって、
視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーとして、同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた複数の画像データの各々において、前記円マーカーにおける内円と外円との径の比率に基づいて当該複数の画像データに含まれる円マーカーを識別するとともに、当該円マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該円マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該円マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正工程と、
前記校正工程によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成工程と、
を含んだことを特徴とする画像処理方法。 - 視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーとして、同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた複数の画像データの各々において、前記円マーカーにおける内円と外円との径の比率に基づいて当該複数の画像データに含まれる円マーカーを識別するとともに、当該円マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該円マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該円マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正手順と、
前記校正手順によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016032444A JP6339609B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016032444A JP6339609B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、画像処理方法及び画像処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018038789A Division JP7032179B2 (ja) | 2018-03-05 | 2018-03-05 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151643A JP2017151643A (ja) | 2017-08-31 |
JP6339609B2 true JP6339609B2 (ja) | 2018-06-06 |
Family
ID=59740877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016032444A Active JP6339609B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6339609B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7032179B2 (ja) * | 2018-03-05 | 2022-03-08 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004139294A (ja) * | 2002-10-17 | 2004-05-13 | Hitachi Ltd | 多視点画像処理プログラム、システム及びマーカ |
JP5233709B2 (ja) * | 2009-02-05 | 2013-07-10 | 株式会社デンソーウェーブ | ロボットシミュレーション画像表示システム |
JP5867210B2 (ja) * | 2011-07-15 | 2016-02-24 | 株式会社大林組 | 鉄筋規格判別装置及び鉄筋規格情報作成装置 |
JP5886242B2 (ja) * | 2013-06-10 | 2016-03-16 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5925757B2 (ja) * | 2013-12-27 | 2016-05-25 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6372149B2 (ja) * | 2014-04-28 | 2018-08-15 | 富士通株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP6359333B2 (ja) * | 2014-05-09 | 2018-07-18 | シャープ株式会社 | テレコミュニケーションシステム |
-
2016
- 2016-02-23 JP JP2016032444A patent/JP6339609B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017151643A (ja) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166409B1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US9852336B2 (en) | Relative positioning of a mobile computing device in a network | |
CN108492364B (zh) | 用于生成图像生成模型的方法和装置 | |
US20150046299A1 (en) | Inventory Assessment with Mobile Devices | |
US11122195B2 (en) | Camera parameter estimation device, method, and program | |
JP2022544717A (ja) | リアルタイム複数モダリティ画像アライメントのためのシステム及び方法 | |
JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2011227649A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
US11373335B2 (en) | Camera parameter estimation device, method and program | |
JP6452429B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US10600202B2 (en) | Information processing device and method, and program | |
CN110222641A (zh) | 用于识别图像的方法和装置 | |
WO2022237026A1 (zh) | 平面信息检测方法及系统 | |
CN110728649A (zh) | 用于生成位置信息的方法和装置 | |
CN110555876A (zh) | 用于确定位置的方法和装置 | |
Hafeez et al. | Evaluating feature extraction methods with synthetic noise patterns for image-based modelling of texture-less objects | |
CN106203225A (zh) | 基于深度的图像元素删除 | |
CN109978753B (zh) | 绘制全景热力图的方法和装置 | |
US11605183B2 (en) | Aligning and merging contents from multiple collaborative workstations | |
JP6339609B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN111402404A (zh) | 全景图补全方法、装置、计算机可读存储介质及电子设备 | |
JP7032179B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN110662015A (zh) | 用于显示图像的方法及装置 | |
WO2015079054A1 (en) | Estimating gaze from un-calibrated eye measurement points | |
JP6794316B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160518 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160518 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170222 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20170222 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170302 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20170307 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170324 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20170328 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20171107 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20180109 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20180226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20180320 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20180410 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6339609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |