JP6166409B1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6166409B1 JP6166409B1 JP2016052486A JP2016052486A JP6166409B1 JP 6166409 B1 JP6166409 B1 JP 6166409B1 JP 2016052486 A JP2016052486 A JP 2016052486A JP 2016052486 A JP2016052486 A JP 2016052486A JP 6166409 B1 JP6166409 B1 JP 6166409B1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- marker
- circle
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 359
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000003550 marker Substances 0.000 claims abstract description 297
- 238000003384 imaging method Methods 0.000 claims abstract description 94
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 111
- 230000009466 transformation Effects 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 72
- 238000003860 storage Methods 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000005855 radiation Effects 0.000 claims description 12
- 239000000470 constituent Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 15
- 238000013461 design Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000001915 proofreading effect Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20088—Trinocular vision calculations; trifocal tensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
Description
〔1−1.画像処理の一例〕
まず、図1を用いて、第1の実施形態に係る画像処理の一例について説明する。図1は、第1の実施形態に係る画像処理の一例を示す図である。図1に示すように、第1の実施形態に係る画像処理システム1には、ユーザ端末10と、画像処理装置100とが含まれる。ユーザ端末10と画像処理装置100とは、図示しないネットワークN(例えば、インターネット)を介して互いに通信可能に接続される。なお、画像処理システム1に含まれる各装置の台数は、図1に示した例に限られない。例えば、画像処理システム1には、複数台のユーザ端末10が含まれてもよい。
次に、図2を用いて、第1の実施形態に係る画像処理装置100の構成について説明する。図2は、第1の実施形態に係る画像処理装置100の構成例を示す図である。図2に示すように、画像処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、図示しないネットワークNと有線又は無線で接続され、ユーザ端末10との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図2に示すように、記憶部120は、画像データ記憶部121と、自由視点画像記憶部122とを有する。
画像データ記憶部121は、ユーザ端末10から入稿された画像データに関する情報を記憶する。ここで、図3に、第1の実施形態に係る画像データ記憶部121の一例を示す。図3に示した例では、画像データ記憶部121は、「入稿ID」、「画像データ」といった項目を有する。
自由視点画像記憶部122は、画像処理装置100が生成した自由視点画像に関する情報を記憶する。ここで、図4に、第1の実施形態に係る自由視点画像記憶部122の一例を示す。図4に示した例では、自由視点画像記憶部122は、「自由視点画像ID」、「元画像データ」、「校正データ」、「変換後画像データ」、「初期表示画面」といった項目を有する。
制御部130は、例えば、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、画像処理装置100内部の記憶装置に記憶されている各種プログラム(画像処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
受付部131は、視点位置が異なる複数の画像データを受け付ける。具体的には、第1の実施形態に係る受付部131は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データの入稿を受け付ける。
校正部132は、マーカーが有するパラメータに基づいて、受付部131によって受け付けられた複数の画像データに関する校正を行う。具体的には、第1の実施形態に係る校正部132は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。なお、後述する生成部133は、校正部132による校正の結果に基づいて、元画像データに所定の変換処理を行うことで、自由視点画像を生成する。
生成部133は、校正部132によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。
配信部134は、生成部133によって生成された自由視点画像を配信する。具体的には、第1の実施形態に係る配信部134は、生成部133によって生成され、自由視点画像記憶部122に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末10に配信する。
次に、図10を用いて、第1の実施形態に係る画像処理装置100による画像処理の手順について説明する。図10は、第1の実施形態に係る画像処理手順を示すフローチャートである。
上述してきた第1の実施形態に係る画像処理装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置100の他の実施形態について説明する。
上記実施形態では、画像処理装置100は、円マーカーを利用して各画像データに関する校正処理を行うことを説明した。しかし、画像処理装置100は、円マーカー以外のマーカーを利用してもよい。
また、画像処理装置100は、マーカーとして、互いの位置関係が既知である4つ以上の点をマーカーとして用いることもできる。この場合、画像処理装置100は、各画像データに少なくとも4つの点が含まれている画像データの入稿を受け付ける。
上記実施形態では、画像処理装置100は、オークションの出品を所望するユーザから入稿された複数の画像データに基づいて、自由視点画像を生成する処理を例として示した。この場合、画像処理装置100は、生成した自由視点画像を、自由視点画像の元となる複数の画像データを入稿したユーザ端末10もしくはユーザ端末10を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納するようにしてもよい。
上記実施形態においては、自由視点画像がユーザに利用される例として、オークションサイトへの商品の出品等を示した。しかし、画像処理装置100は、生成した自由視点画像を様々な対象に配信してもよい。例えば、画像処理装置100は、ユーザ端末10ではなく、直接、ウェブサーバ等に配信するサービスを行ってもよい。また、画像処理装置100は、主としてUGC(User-Generated Contents)を掲載するサイトであるUGM(User-Generated Media)、またはCGM(Consumer-Generated Media)等に、生成した自由視点画像を配信してもよい。なお、UGMには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、SNS(Social Networking Service)等が含まれる。
上述してきたように、第1の実施形態に係る画像処理装置100は、受付部131と、校正部132と、生成部133とを有する。受付部131は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部132は、マーカーが有するパラメータに基づいて、受付部131によって受け付けられた複数の画像データに関する校正を行う。生成部133は、校正部132によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。
〔2−1.画像処理の一例〕
続いて、本願に係る第2の実施形態について説明する。上述してきた第1の実施形態において、画像処理装置100が、例えば、射影変換後の画像データに含まれる2つのマーカーの相対的なサイズやマッピング情報に基づいて、各々のマーカーを特定する処理を説明した。あるいは、画像処理装置100が、2次元コードに含まれる識別情報や、4つ以上の点における座標情報等によりマーカーを特定する処理を説明した。
次に、図12を用いて、第2の実施形態に係る画像処理装置200の構成について説明する。図12は、第2の実施形態に係る画像処理装置200の構成例を示す図である。図12に示すように、画像処理装置200は、通信部210と、記憶部220と、制御部230とを有する。なお、第1の実施形態で説明した画像処理装置100が行う処理と同様の処理や、同様の処理を行う処理部については、説明を省略する。
マーカー情報記憶部221は、マーカーに関する情報を記憶する。ここで、図13に、第2の実施形態に係るマーカー情報記憶部221の一例を示す。図13に示した例では、マーカー情報記憶部221は、「マーカーID」、「特徴情報」といった項目を有する。
制御部230は、図12に示すように、取得部231と、受付部232と、特定部233と、校正部234と、生成部235と、配信部236とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図12に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部230が有する各処理部の接続関係は、図12に示した接続関係に限られず、他の接続関係であってもよい。
取得部231は、マーカーに関する情報を取得する。具体的には、取得部231は、円を構成要素に含むマーカーに関する情報であって、マーカーを特定するための特徴情報を取得する。例えば、取得部231は、ユーザに提供するシート70に描かれた円マーカーM01の画像データを取得する。そして、取得部231は、円マーカーM01に識別情報であるマーカーIDを付すとともに、マーカー情報記憶部221に記憶する。
受付部232は、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける。例えば、第2の実施形態に係る受付部232は、被写体60をシート70の上に乗せて撮像された画像データであって、円マーカーM01〜M04の少なくともいずれか一つが含まれる画像データを取得する。円マーカーM01〜M04は真円であるため、撮像された円マーカーM01〜M04は、楕円上の図形となる。すなわち、受付部232が受け付ける画像データには、楕円上の図形が含まれることとなる。受付部232は、受け付けた画像データを画像データ記憶部222に記憶する。
特定部233は、受付部232によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を画像データの所定の処理に用いるためのマーカーとして特定する。
校正部234は、マーカーが有するパラメータに基づいて、受付部232によって受け付けられた複数の画像データに関する校正を行う。具体的には、第2の実施形態に係る校正部234は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。上述のように、第2の実施形態に係る処理によれば、特定部233が、各画像データに含まれるマーカーを正確に特定できるため、校正部234は、各画像データ間における対応点としてマーカーを利用し、各画像データに関する強校正を行うことが可能となる。
生成部235は、校正部234によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。
配信部236は、生成部235によって生成された自由視点画像を配信する。具体的には、第2の実施形態に係る配信部236は、生成部235によって生成され、自由視点画像記憶部223に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末10に配信する。
上述してきた第2の実施形態に係る画像処理装置200は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置200の他の実施形態について説明する。
画像処理装置200は、特徴情報として、2円の径の比率から算出される複比とは異なる特徴情報を用いて、マーカーを特定してもよい。例えば、画像処理装置200は、円マーカーの中に描かれた図案に基づいて、マーカーを特定してもよい。この点について、図14乃至図16を用いて説明する。
第2の実施形態では、画像処理装置200は、予め円マーカーにおける回転不変の特徴情報を取得しておくことによって、画像データ内のマーカーを特定する処理を説明した。かかる処理は、必ずしも自由視点画像の生成に用いられるのみならず、単に、画像データ内のマーカーを特定する処理として用いられてもよい。すなわち、画像処理装置200は、自由視点画像の生成のために、複数の画像データに共通して含まれるマーカーを特定するのみならず、1枚の画像データにおけるビジュアルマーカーを特定する処理として、上記手法を採用してもよい。
上述してきたように、第2の実施形態に係る画像処理装置200は、受付部232と、特定部233とを有する。受付部232は、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける。特定部233は、受付部232によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を、画像データの所定の処理に用いるためのマーカーとして特定する。
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上述してきた各実施形態に係る画像処理装置は、例えば図17に示すような構成のコンピュータ1000によって実現される。以下、画像処理装置100を例に挙げて説明する。図17は、画像処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
10 ユーザ端末
100 画像処理装置
110 通信部
120 記憶部
121 画像データ記憶部
122 自由視点画像記憶部
130 制御部
131 受付部
132 校正部
133 生成部
134 配信部
200 画像処理装置
210 通信部
220 記憶部
221 マーカー情報記憶部
222 画像データ記憶部
223 自由視点画像記憶部
230 制御部
231 取得部
232 受付部
233 特定部
234 校正部
235 生成部
236 配信部
Claims (14)
- 所定の撮像装置によって撮像されることで作成される、当該所定の撮像装置の光軸及び焦点距離が一定でない複数の画像データであって、楕円状の図形を含む画像データを受け付ける受付部と、
前記受付部によって受け付けられた各画像データに含まれる楕円状の図形が真円となるよう当該各画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を当該各画像データの所定の処理に用いるためのマーカーとして特定する特定部と、
前記マーカーが有するパラメータに基づいて、各画像データに関する校正を行う校正部と、
前記校正部によって校正された各画像データに所定の変換処理を行うことにより、各画像データを任意の視点位置に対応する画像データに変換し、変換後の画像データに基づいて複数の画像を連続的に表示可能である自由視点画像を生成する生成部と、
を備えたことを特徴とする画像処理装置。 - 円を構成要素に含むマーカーに関する情報であって、当該マーカーを特定するための特徴情報を取得する取得部、
をさらに備え
前記特定部は、
前記射影変換後の真円が有する特徴情報と、前記取得部によって取得された特徴情報とを照合することにより、前記各画像データに含まれるマーカーを特定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記取得部は、
中心が共通する内円と外円とを有するマーカーに関する特徴情報として、当該マーカーの中心を通る直線と、内円及び外円と、の各々の交点及び当該中心のいずれかの点間の長さの比の比を示す複比を取得し、
前記特定部は、
前記各画像データに含まれる2つの楕円状の図形が、同心を有する2つの真円となるよう射影変換される場合に、前記取得部によって取得された複比と、当該複比を算出する際に用いられた点間と対応する関係にある点間の長さを用いて算出される前記2つの真円における複比と、を照合することにより、当該各画像データに含まれるマーカーを特定する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記取得部は、
前記円の内部に所定の図形が描かれたマーカーに関する特徴情報として、前記円の中心から外側へ向かう放射線上に存在する所定の2点の画素の輝度差によって示される特徴情報を取得し、
前記特定部は、
前記射影変換後の真円が有する特徴情報と、前記取得部によって取得された特徴情報とを照合することにより、前記各画像データに含まれるマーカーを特定する、
ことを特徴とする請求項2又は3に記載の画像処理装置。 - 前記取得部は、
前記マーカーが有する円の中心から第1の所定距離だけ離れた箇所に複数のサンプルポイントを設け、当該サンプルポイントと、当該サンプルポイントから外側へ向かって第2の所定距離だけ離れたポイントと、の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを前記特徴情報として取得し、
前記特定部は、
前記バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、当該射影変換後の真円が有するバイナリデータを算出し、当該射影変換後の真円が有するバイナリデータと、前記取得部によって取得されたバイナリデータとの類似度を求めることにより、前記各画像データに含まれるマーカーを特定する、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記取得部は、
前記サンプルポイントと、当該サンプルポイントから外側へ向かって第2の所定距離だけ離れたポイントと、の輝度差を二値化して示す場合に、サンプルポイントとなる画素の周囲の画素を含む輝度の平均と、当該ポイントとなる画素の周囲の画素を含む輝度の平均と、を比較することで、前記バイナリデータを取得する、
ことを特徴とする請求項5に記載の画像処理装置。 - 前記取得部は、
前記特定部によって前記類似度が算出されたのちに、当該類似度を算出する基となったサンプルポイントの位置から、前記円に沿って所定の角度だけずらして新たなサンプルポイントを設け、新たなサンプルポイントに基づく新たなバイナリデータを取得し、
前記特定部は、
前記射影変換後の真円が有するバイナリデータと、前記取得部によって取得された新たなバイナリデータとの類似度を求めることを所定の回数繰り返し、求められた類似度のうち最大となる類似度に基づいて、前記各画像データに含まれるマーカーを特定する、
ことを特徴とする請求項5又は6に記載の画像処理装置。 - 前記生成部によって生成された自由視点画像を配信する配信部、
をさらに備え、
前記受付部は、
端末装置から前記複数の画像データの入稿を受け付けるとともに、当該端末装置を識別する情報を受け付け、
前記配信部は、
前記受付部によって受け付けられた前記端末装置を識別する情報に基づいて、当該端末装置に前記自由視点画像を配信する、
ことを特徴とする請求項1〜7のいずれか1つに記載の画像処理装置。 - 前記生成部は、
生成した前記自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿した端末装置もしくは当該端末装置を利用するユーザを識別する識別情報、又は、当該ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する、
ことを特徴とする請求項1〜8のいずれか1つに記載の画像処理装置。 - コンピュータが実行する画像処理方法であって、
所定の撮像装置によって撮像されることで作成される、当該所定の撮像装置の光軸及び焦点距離が一定でない複数の画像データであって、楕円状の図形を含む画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた各画像データに含まれる楕円状の図形が真円となるよう当該各画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を当該各画像データの所定の処理に用いるためのマーカーとして特定する特定工程と、
前記マーカーが有するパラメータに基づいて、各画像データに関する校正を行う校正工程と、
前記校正工程によって校正された各画像データに所定の変換処理を行うことにより、各画像データを任意の視点位置に対応する画像データに変換し、変換後の画像データに基づいて複数の画像を連続的に表示可能である自由視点画像を生成する生成工程と、
を含んだことを特徴とする画像処理方法。 - 所定の撮像装置によって撮像されることで作成される、当該所定の撮像装置の光軸及び焦点距離が一定でない複数の画像データであって、楕円状の図形を含む画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた各画像データに含まれる楕円状の図形が真円となるよう当該各画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を当該各画像データの所定の処理に用いるためのマーカーとして特定する特定手順と、
前記マーカーが有するパラメータに基づいて、各画像データに関する校正を行う校正手順と、
前記校正手順によって校正された各画像データに所定の変換処理を行うことにより、各画像データを任意の視点位置に対応する画像データに変換し、変換後の画像データに基づいて複数の画像を連続的に表示可能である自由視点画像を生成する生成手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 - 円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、当該マーカーを特定するための特徴情報を取得する取得部と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付部と、
前記受付部によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得部によって取得された特徴情報とを照合することにより、当該真円を当該画像データの所定の処理に用いるためのマーカーとして特定する特定部と、
を備え、
前記取得部は、
前記マーカーが有する円の中心から外側へ向かう放射線上に存在する第1の所定距離だけ離れた箇所に複数のサンプルポイントを設け、当該サンプルポイントと、当該サンプルポイントから外側へ向かう放射線上に存在する第2の所定距離だけ離れたポイントと、の画素の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを前記特徴情報として取得し、
前記特定部は、
前記バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、当該射影変換後の真円が有するバイナリデータを算出し、当該射影変換後の真円が有するバイナリデータと、前記取得部によって取得されたバイナリデータとの類似度を求めることにより、前記画像データに含まれるマーカーを特定する、
ことを特徴とする画像処理装置。 - コンピュータが実行する画像処理方法であって、
円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、当該マーカーを特定するための特徴情報を取得する取得工程と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得工程によって取得された特徴情報とを照合することにより、当該真円を当該画像データの所定の処理に用いるためのマーカーとして特定する特定工程と、
を備え、
前記取得工程は、
前記マーカーが有する円の中心から外側へ向かう放射線上に存在する第1の所定距離だけ離れた箇所に複数のサンプルポイントを設け、当該サンプルポイントと、当該サンプルポイントから外側へ向かう放射線上に存在する第2の所定距離だけ離れたポイントと、の画素の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを前記特徴情報として取得し、
前記特定工程は、
前記バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、当該射影変換後の真円が有するバイナリデータを算出し、当該射影変換後の真円が有するバイナリデータと、前記取得工程によって取得されたバイナリデータとの類似度を求めることにより、前記画像データに含まれるマーカーを特定する、
ことを特徴とする画像処理方法。 - 円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、当該マーカーを特定するための特徴情報を取得する取得手順と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得手順によって取得された特徴情報とを照合することにより、当該真円を当該画像データの所定の処理に用いるためのマーカーとして特定する特定手順と、
をコンピュータに実行させ、
前記取得手順は、
前記マーカーが有する円の中心から外側へ向かう放射線上に存在する第1の所定距離だけ離れた箇所に複数のサンプルポイントを設け、当該サンプルポイントと、当該サンプルポイントから外側へ向かう放射線上に存在する第2の所定距離だけ離れたポイントと、の画素の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを前記特徴情報として取得し、
前記特定手順は、
前記バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、当該射影変換後の真円が有するバイナリデータを算出し、当該射影変換後の真円が有するバイナリデータと、前記取得手順によって取得されたバイナリデータとの類似度を求めることにより、前記画像データに含まれるマーカーを特定する、
ことを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052486A JP6166409B1 (ja) | 2016-03-16 | 2016-03-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
US15/432,574 US10176590B2 (en) | 2016-03-16 | 2017-02-14 | Image processing apparatus, image processing method, and non-transitory computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052486A JP6166409B1 (ja) | 2016-03-16 | 2016-03-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017122324A Division JP6794316B2 (ja) | 2017-06-22 | 2017-06-22 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6166409B1 true JP6166409B1 (ja) | 2017-07-19 |
JP2017167817A JP2017167817A (ja) | 2017-09-21 |
Family
ID=59351275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052486A Active JP6166409B1 (ja) | 2016-03-16 | 2016-03-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10176590B2 (ja) |
JP (1) | JP6166409B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781559A (zh) * | 2021-08-31 | 2021-12-10 | 南京邮电大学 | 一种鲁棒的异常匹配点剔除方法及图像室内定位方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7262927B2 (ja) | 2018-03-30 | 2023-04-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
GB201818357D0 (en) * | 2018-11-12 | 2018-12-26 | Forsberg Services Ltd | Locating system |
US11707842B2 (en) * | 2018-11-27 | 2023-07-25 | Fanuc Corporation | Robot system and coordinate conversion method |
JP2020098412A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7281923B2 (ja) * | 2019-03-01 | 2023-05-26 | キヤノン株式会社 | 制御装置、画像処理システム、制御方法及びプログラム |
US20220309754A1 (en) * | 2020-07-21 | 2022-09-29 | Sony Group Corporation | Information processing device, information processing method, and program |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3675629B2 (ja) * | 1997-08-04 | 2005-07-27 | 株式会社リコー | パターン認識方法、装置および記録媒体 |
JPH1151651A (ja) * | 1997-08-06 | 1999-02-26 | Nippon Steel Corp | 視準マーク面の傾き角度測定方法、三次元座標測定方法及び視準マーク |
JP2984267B1 (ja) * | 1998-12-25 | 1999-11-29 | 日東精工株式会社 | 対象物の画像処理方法 |
WO2001039124A2 (en) * | 1999-11-23 | 2001-05-31 | Canon Kabushiki Kaisha | Image processing apparatus |
JP2004139294A (ja) * | 2002-10-17 | 2004-05-13 | Hitachi Ltd | 多視点画像処理プログラム、システム及びマーカ |
FR2846432B1 (fr) * | 2002-10-24 | 2005-03-11 | Commissariat Energie Atomique | Cible codee et procede de photogrammetre utilisant de telles cibles |
JP2004301796A (ja) * | 2003-04-01 | 2004-10-28 | Sony Corp | ロボット、並びにランドマークの位置推定システム及び位置推定方法、並びにランドマーク |
JP4522140B2 (ja) * | 2004-05-14 | 2010-08-11 | キヤノン株式会社 | 指標配置情報推定方法および情報処理装置 |
JP4835243B2 (ja) | 2006-04-13 | 2011-12-14 | ブラザー工業株式会社 | 画像合成装置及び画像合成プログラム |
JP5254545B2 (ja) * | 2006-12-20 | 2013-08-07 | 三井住友建設株式会社 | 画像処理装置、及び画像処理方法 |
JPWO2011004568A1 (ja) * | 2009-07-08 | 2012-12-20 | 株式会社ニコン | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 |
JP5878451B2 (ja) * | 2012-10-17 | 2016-03-08 | 日本電信電話株式会社 | マーカー埋め込み装置、マーカー検出装置、マーカー埋め込み方法、マーカー検出方法、及びプログラム |
JP5500400B1 (ja) * | 2012-12-14 | 2014-05-21 | 株式会社コンセプト | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5886242B2 (ja) * | 2013-06-10 | 2016-03-16 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5925757B2 (ja) * | 2013-12-27 | 2016-05-25 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2016
- 2016-03-16 JP JP2016052486A patent/JP6166409B1/ja active Active
-
2017
- 2017-02-14 US US15/432,574 patent/US10176590B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781559A (zh) * | 2021-08-31 | 2021-12-10 | 南京邮电大学 | 一种鲁棒的异常匹配点剔除方法及图像室内定位方法 |
CN113781559B (zh) * | 2021-08-31 | 2023-10-13 | 南京邮电大学 | 一种鲁棒的异常匹配点剔除方法及图像室内定位方法 |
Also Published As
Publication number | Publication date |
---|---|
US10176590B2 (en) | 2019-01-08 |
US20170270683A1 (en) | 2017-09-21 |
JP2017167817A (ja) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166409B1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US10445870B2 (en) | Linear grouping of recognized items in an image | |
US9911213B2 (en) | Panoramic image stitching using objects | |
US11308710B2 (en) | Polygonal region detection | |
US20170094161A1 (en) | Yaw User Interface | |
US10225086B2 (en) | Image fingerprinting | |
JP2011227649A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
US11640709B2 (en) | Merchandise specification systems and programs | |
JP7231877B1 (ja) | 角度計測装置、角度計測方法、角度計測プログラム | |
CN110222641A (zh) | 用于识别图像的方法和装置 | |
US20200380729A1 (en) | Camera parameter estimation device, method and program | |
JP6100602B2 (ja) | 長尺物本数測定装置、長尺物本数測定方法、及びコンピュータプログラム | |
CN110827301A (zh) | 用于处理图像的方法和装置 | |
Wu et al. | Fast and accurate circle detection using gradient-direction-based segmentation | |
JP6339609B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7032179B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Kwon et al. | Multi-cue-based circle detection and its application to robust extrinsic calibration of RGB-D cameras | |
Duque-Domingo et al. | Deciphering egyptian hieroglyphs: Towards a new strategy for navigation in museums | |
JP6794316B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US10083545B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium for specifying markers in accepted image data | |
Markiewicz et al. | The influence of the cartographic transformation of TLS data on the quality of the automatic registration | |
JP6696149B2 (ja) | 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 | |
JP6278757B2 (ja) | 特徴量生成装置、特徴量生成方法、およびプログラム | |
CN113591852B (zh) | 感兴趣区域标记的方法和装置 | |
Yaman et al. | Performance evaluation of similarity measures for dense multimodal stereovision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6166409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |