JP6345191B2 - ビジュアル検索のための自動画像修正 - Google Patents
ビジュアル検索のための自動画像修正 Download PDFInfo
- Publication number
- JP6345191B2 JP6345191B2 JP2015559253A JP2015559253A JP6345191B2 JP 6345191 B2 JP6345191 B2 JP 6345191B2 JP 2015559253 A JP2015559253 A JP 2015559253A JP 2015559253 A JP2015559253 A JP 2015559253A JP 6345191 B2 JP6345191 B2 JP 6345191B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- images
- image
- environment
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Description
101 コンピューティングデバイス
110 処理回路
112 記憶媒体
114 電源デバイス
116 ディスプレイデバイス
118 ユーザインターフェース
119 トランシーバ
131 ワイヤレスネットワーク
144 画像キャプチャデバイス
510 記憶媒体
512 データベース
520 処理回路
540 ネットワークインターフェース
Claims (15)
- コンピューティングデバイスにおいて実施される方法であって、
画像キャプチャデバイスから1つまたは複数の画像を受け取るステップであって、前記1つまたは複数の画像は、環境と、前記環境内の関心対象の1つまたは複数の潜在的なオブジェクトの少なくとも一部分とを含むステップと、
前記コンピューティングデバイスで前記1つまたは複数の画像を記憶するステップと、
前記1つまたは複数の画像の中に含まれる前記環境の少なくとも部分的3次元形状モデルを構築するステップであって、前記少なくとも部分的3D形状モデルは、前記環境内の関心対象の前記1つまたは複数の潜在的なオブジェクトの少なくとも前記一部分を含み、前記少なくとも部分的3D形状モデルは、前記1つまたは複数の画像のうちの少なくとも1つの画像を使用して構築されるステップと、
前記少なくとも部分的3D形状モデルを使用して、ビジュアル検索のために関心対象の少なくとも1つの潜在的なオブジェクトを有する少なくとも1つの修正された画像を自動的に作成するステップであって、前記少なくとも1つの修正された画像は、前記1つまたは複数の画像の中の関心対象の前記少なくとも1つの潜在的なオブジェクトのビューに対して、関心対象の前記少なくとも1つの潜在的なオブジェクトの変更された透視投影ビューを含むステップとを備える方法。 - 前記少なくとも1つの修正された画像を、前記ビジュアル検索のためにサーバに自動的にアップロードするステップをさらに備える請求項1に記載の方法。
- 前記少なくとも1つの修正された画像を、前記ビジュアル検索のためにサーバにアップロードするステップをさらに備える請求項1に記載の方法。
- 前記1つまたは複数の画像は、前記コンピューティングデバイスに関連付けられた画像キャプチャデバイスでキャプチャされ、前記ビジュアル検索のために関心対象の少なくとも1つの潜在的なオブジェクトを有する少なくとも1つの修正された画像を自動的に作成するステップは、ユーザ入力を受け取ることなしに行われる請求項1に記載の方法。
- 前記1つまたは複数の画像は、ユーザ入力を受け取ることなしに背景動作中に、前記コンピューティングデバイスに関連付けられた画像キャプチャデバイスで自動的にキャプチャされる請求項1に記載の方法。
- 前記1つまたは複数の画像は、或る期間中に、前記期間の少なくとも一部にわたって画像キャプチャデバイスが移動している状態で、前記コンピューティングデバイスに関連付けられた前記画像キャプチャデバイスでキャプチャされる請求項1に記載の方法。
- 前記1つまたは複数の画像は、前記コンピューティングデバイスに関連付けられた画像キャプチャデバイスでキャプチャされ、前記画像キャプチャデバイスは、関心対象の前記少なくとも1つの潜在的なオブジェクトに関する奥行き情報をもたらすことができ、前記画像キャプチャデバイスが移動することを要求されないで、前記1つまたは複数の画像をキャプチャする請求項1に記載の方法。
- 前記環境内の関心対象の前記1つまたは複数の潜在的なオブジェクトに関連する少なくとも1つの平面構造を求めて前記環境の前記少なくとも部分的3D形状モデルを検索するステップをさらに備える請求項1に記載の方法。
- 前記少なくとも部分的3D形状モデルは、structure-from-motionシステムを使用して構築される請求項1に記載の方法。
- 前記環境内の関心対象の前記1つまたは複数の潜在的なオブジェクトの少なくとも前記一部分に関連する少なくとも2つの平面構造を求めて前記環境の前記少なくとも部分的3D形状モデルを検索するステップをさらに備える請求項1に記載の方法。
- 前記ビジュアル検索のために関心対象の少なくとも1つの潜在的なオブジェクトを有する少なくとも1つの修正された画像を自動的に作成するステップは、各修正された画像につき1つの平面構造のゆがみを解消して正面ビューにするステップを備える請求項1に記載の方法。
- 関心対象の少なくとも1つの潜在的なオブジェクトを有する少なくとも1つの修正された画像を自動的に作成するステップは、複数の入力画像から関心対象の前記少なくとも1つの潜在的なオブジェクトの部分を修正して、前記少なくとも1つの修正された画像を作成するステップを備える請求項1に記載の方法。
- 請求項1乃至12の何れか1項に記載の方法を実施するためのコードを含む、コンピュータ可読記憶媒体。
- 1つまたは複数の受け取られた画像を記憶するための手段であって、前記1つまたは複数の画像は、環境と、前記環境内の関心対象の1つまたは複数の潜在的なオブジェクトの少なくとも一部分とを含む手段と、
前記1つまたは複数の画像の中に含まれる前記環境の少なくとも部分的3次元形状モデルを構築するための手段であって、前記少なくとも部分的3D形状モデルは、前記環境内の関心対象の前記1つまたは複数の潜在的なオブジェクトの少なくとも前記一部分を含み、前記少なくとも部分的3D形状モデルは、前記1つまたは複数の画像のうちの少なくとも1つの画像を使用して構築される手段と、
前記少なくとも部分的3D形状モデルを使用して、ビジュアル検索のために関心対象の少なくとも1つの潜在的なオブジェクトを有する少なくとも1つの修正された画像を自動的に作成するための手段であって、前記少なくとも1つの修正された画像は、前記1つまたは複数の画像の中の関心対象の前記少なくとも1つの潜在的なオブジェクトのビューに対して、関心対象の前記少なくとも1つの潜在的なオブジェクトの変更された透視投影ビューを含む手段とを備える装置。 - 前記少なくとも1つの修正された画像を、前記ビジュアル検索のためにサーバに自動的にアップロードするための手段をさらに備える請求項14に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/772,640 | 2013-02-21 | ||
US13/772,640 US9058683B2 (en) | 2013-02-21 | 2013-02-21 | Automatic image rectification for visual search |
PCT/US2014/014763 WO2014130237A1 (en) | 2013-02-21 | 2014-02-05 | Automatic image rectification for visual search |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016514307A JP2016514307A (ja) | 2016-05-19 |
JP2016514307A5 JP2016514307A5 (ja) | 2017-02-23 |
JP6345191B2 true JP6345191B2 (ja) | 2018-06-20 |
Family
ID=50156924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015559253A Expired - Fee Related JP6345191B2 (ja) | 2013-02-21 | 2014-02-05 | ビジュアル検索のための自動画像修正 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9058683B2 (ja) |
EP (1) | EP2959406B1 (ja) |
JP (1) | JP6345191B2 (ja) |
KR (1) | KR20150121099A (ja) |
CN (1) | CN104969225B (ja) |
WO (1) | WO2014130237A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058683B2 (en) | 2013-02-21 | 2015-06-16 | Qualcomm Incorporated | Automatic image rectification for visual search |
GB201409625D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Vehicle localisation |
US10628997B2 (en) | 2017-08-24 | 2020-04-21 | Emilio Santos | Method for generating three-dimensional models from constrained sketches and an instruction set |
KR101988555B1 (ko) * | 2017-12-05 | 2019-06-12 | 충북대학교 산학협력단 | 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5633995A (en) * | 1991-06-19 | 1997-05-27 | Martin Marietta Corporation | Camera system and methods for extracting 3D model of viewed object |
JP3165780B2 (ja) * | 1995-07-26 | 2001-05-14 | 株式会社東芝 | 3次元モデル情報検索システム |
US6173070B1 (en) * | 1997-12-30 | 2001-01-09 | Cognex Corporation | Machine vision method using search models to find features in three dimensional images |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7738706B2 (en) * | 2000-09-22 | 2010-06-15 | Sri International | Method and apparatus for recognition of symbols in images of three-dimensional scenes |
US20030030731A1 (en) * | 2001-05-03 | 2003-02-13 | Colby Steven M. | System and method for transferring image data between digital cameras |
TWI220097B (en) * | 2003-07-21 | 2004-08-01 | Avision Inc | Image calibration method |
US7424141B2 (en) * | 2003-08-29 | 2008-09-09 | Agilent Technologies, Inc. | System and method for performing auto-focused tomosynthesis |
US7167849B2 (en) * | 2003-10-29 | 2007-01-23 | Microsoft Corporation | Invariant pattern recognition |
JP2005352835A (ja) * | 2004-06-11 | 2005-12-22 | Brother Ind Ltd | 画像入出力装置 |
JP2005308553A (ja) | 2004-04-21 | 2005-11-04 | Topcon Corp | 三次元画像計測装置及び方法 |
US20070064099A1 (en) * | 2004-06-18 | 2007-03-22 | Raphaele Balter | Method of representing a sequence of pictures using 3d models, and corresponding devices and signals |
GB2419488B (en) * | 2004-10-23 | 2010-10-27 | Hewlett Packard Development Co | Image processing |
US7916932B2 (en) * | 2005-02-16 | 2011-03-29 | In-G Co., Ltd. | Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof |
US7660468B2 (en) | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
FI121981B (fi) * | 2006-10-20 | 2011-06-30 | Virtual Air Guitar Company Oy | Kohteen seuraaminen konenäössä |
US8347213B2 (en) * | 2007-03-02 | 2013-01-01 | Animoto, Inc. | Automatically generating audiovisual works |
US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
CN101271469B (zh) * | 2008-05-10 | 2013-08-21 | 深圳先进技术研究院 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
US8184869B2 (en) * | 2008-05-30 | 2012-05-22 | Hewlett-Packard Development Company, L.P. | Digital image enhancement |
JP5439787B2 (ja) * | 2008-09-30 | 2014-03-12 | カシオ計算機株式会社 | カメラ装置 |
EP2199983A1 (en) * | 2008-12-22 | 2010-06-23 | Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO | A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product |
EP2385705A4 (en) * | 2008-12-30 | 2011-12-21 | Huawei Device Co Ltd | METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE |
DE102009049849B4 (de) | 2009-10-19 | 2020-09-24 | Apple Inc. | Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells |
US8798377B2 (en) * | 2010-02-08 | 2014-08-05 | Telefonica, S.A. | Efficient scale-space extraction and description of interest points |
US8660355B2 (en) * | 2010-03-19 | 2014-02-25 | Digimarc Corporation | Methods and systems for determining image processing operations relevant to particular imagery |
US8526694B2 (en) * | 2010-05-25 | 2013-09-03 | Siemens Medical Solutions Usa, Inc. | Medical image processing and registration system |
WO2011148212A1 (en) * | 2010-05-26 | 2011-12-01 | Sony Ericsson Mobile Communications Ab | Camera system and method for taking photographs that correspond to user preferences |
US20130010077A1 (en) * | 2011-01-27 | 2013-01-10 | Khang Nguyen | Three-dimensional image capturing apparatus and three-dimensional image capturing method |
US9398210B2 (en) | 2011-02-24 | 2016-07-19 | Digimarc Corporation | Methods and systems for dealing with perspective distortion in connection with smartphone cameras |
US8571343B2 (en) * | 2011-03-01 | 2013-10-29 | Sharp Laboratories Of America, Inc. | Methods and systems for document-image correction |
US10133950B2 (en) | 2011-03-04 | 2018-11-20 | Qualcomm Incorporated | Dynamic template tracking |
US9152882B2 (en) * | 2011-06-17 | 2015-10-06 | Microsoft Technology Licensing, Llc. | Location-aided recognition |
US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
US9131163B2 (en) * | 2012-02-07 | 2015-09-08 | Stmicroelectronics S.R.L. | Efficient compact descriptors in visual search systems |
US9058683B2 (en) * | 2013-02-21 | 2015-06-16 | Qualcomm Incorporated | Automatic image rectification for visual search |
US9349180B1 (en) * | 2013-05-17 | 2016-05-24 | Amazon Technologies, Inc. | Viewpoint invariant object recognition |
-
2013
- 2013-02-21 US US13/772,640 patent/US9058683B2/en active Active
-
2014
- 2014-02-05 CN CN201480007660.0A patent/CN104969225B/zh active Active
- 2014-02-05 EP EP14706185.7A patent/EP2959406B1/en active Active
- 2014-02-05 WO PCT/US2014/014763 patent/WO2014130237A1/en active Application Filing
- 2014-02-05 KR KR1020157025665A patent/KR20150121099A/ko not_active Application Discontinuation
- 2014-02-05 JP JP2015559253A patent/JP6345191B2/ja not_active Expired - Fee Related
-
2015
- 2015-05-13 US US14/711,406 patent/US9547669B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140233845A1 (en) | 2014-08-21 |
CN104969225A (zh) | 2015-10-07 |
EP2959406A1 (en) | 2015-12-30 |
US9058683B2 (en) | 2015-06-16 |
WO2014130237A1 (en) | 2014-08-28 |
EP2959406B1 (en) | 2020-09-16 |
CN104969225B (zh) | 2019-03-19 |
JP2016514307A (ja) | 2016-05-19 |
US9547669B2 (en) | 2017-01-17 |
US20150254284A1 (en) | 2015-09-10 |
KR20150121099A (ko) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6151323B2 (ja) | 動的テンプレート追跡 | |
KR102567285B1 (ko) | 모바일 비디오 서치 기법 | |
JP6348574B2 (ja) | 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam | |
JP6258953B2 (ja) | 単眼視覚slamのための高速初期化 | |
KR101535579B1 (ko) | 증강 현실 인터액션 구현 방법 및 시스템 | |
CN105009120B (zh) | 基于客户端-服务器的动态搜索 | |
JP6456347B2 (ja) | 平面固有の特徴のターゲットのinsitu生成 | |
KR101523811B1 (ko) | 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법 | |
WO2018141144A1 (zh) | 一种文本和语音信息的处理方法以及终端 | |
TW201508520A (zh) | 設置背景圖像的方法及相關的伺服器和系統 | |
TWI591575B (zh) | 用於增進已擷取資料的方法及系統 | |
US11527014B2 (en) | Methods and systems for calibrating surface data capture devices | |
JP6345191B2 (ja) | ビジュアル検索のための自動画像修正 | |
US9589327B2 (en) | Apparatus and method for noise reduction in depth images during object segmentation | |
TW201222288A (en) | Image retrieving system and method and computer program product thereof | |
CN103377488A (zh) | 用于显示增强现实图像的方法及其电子装置 | |
US20190294625A1 (en) | Media-connecting device to connect printed media to non-static digital media | |
KR20150141426A (ko) | 전자 장치 및 전자 장치에서의 이미지 처리 방법 | |
EP2975576A1 (en) | Method of determination of stable zones within an image stream, and portable device for implementing the method | |
KR20120077485A (ko) | 표정 인식 기반 음원 제공 시스템 및 서비스 | |
KR102178172B1 (ko) | 단말, 서비스 제공 장치, 그 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 이미지 검색 시스템 | |
EP4300446A1 (en) | Methods and systems for detecting fraud during biometric identity verification | |
US20180039637A1 (en) | Method and system for multimedia processing to identify concepts in multimedia | |
TWM523914U (zh) | 動態影像之物件辨識系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6345191 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |