JP6484587B2 - カメラの空間特性を決定する方法及びシステム - Google Patents

カメラの空間特性を決定する方法及びシステム Download PDF

Info

Publication number
JP6484587B2
JP6484587B2 JP2016096203A JP2016096203A JP6484587B2 JP 6484587 B2 JP6484587 B2 JP 6484587B2 JP 2016096203 A JP2016096203 A JP 2016096203A JP 2016096203 A JP2016096203 A JP 2016096203A JP 6484587 B2 JP6484587 B2 JP 6484587B2
Authority
JP
Japan
Prior art keywords
mobile device
camera
pattern
display
geographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016096203A
Other languages
English (en)
Other versions
JP2017021328A5 (ja
JP2017021328A (ja
Inventor
マルクス スキャンス,
マルクス スキャンス,
ビョルン アルデ,
ビョルン アルデ,
イーゴリ ジュロヴスキー,
イーゴリ ジュロヴスキー,
Original Assignee
アクシス アーベー
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー, アクシス アーベー filed Critical アクシス アーベー
Priority to EP16199538.6A priority Critical patent/EP3242245B1/en
Publication of JP2017021328A publication Critical patent/JP2017021328A/ja
Priority to KR1020170055280A priority patent/KR101913371B1/ko
Priority to CN201710303871.4A priority patent/CN107346406B/zh
Priority to US15/585,941 priority patent/US10152665B2/en
Priority to TW106114732A priority patent/TWI657377B/zh
Priority to KR1020180077844A priority patent/KR102019412B1/ko
Publication of JP2017021328A5 publication Critical patent/JP2017021328A5/ja
Application granted granted Critical
Publication of JP6484587B2 publication Critical patent/JP6484587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/0614Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00Investigating resistance of materials to the weather, to corrosion, or to light
    • G01N17/02Electrochemical measuring systems for weathering, corrosion or corrosion-protection measurement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1095Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner comprising adaptations for scanning a record carrier that is displayed on a display-screen or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/146Methods for optical code recognition the method including quality enhancement steps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Environmental Sciences (AREA)
  • Biochemistry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、カメラの空間特性、具体的にはカメラの空間的位置を決定する方法及びシステムに関する。
監視及び/又は調査において、動画像を捕捉するビデオカメラが用いられることがよくある。典型的には、所定のエリアをカバーするべくカメラ網が構成される。捕捉されたビデオデータは、録画、リアルタイム視聴、自動分析等され得る。
多くの用途において、調査/監視エリアを示したマップ上に、調査用カメラ及び/又は監視カメラをマッピングすることが非常に有用である。例えば、そのようなマップを用いて、修復すべき特定のカメラの位置が特定され得るか、或いは単純に、ビデオに捕捉されている特定の事象が実際に発生している場所が特定され得る。更に、マップ中のエリアに関連するビデオストリームの選択を容易にするために、マップ上のカメラが、この特定のカメラに由来するビデオストリームとペアリングされ得る。ビデオがどこで捕捉されたのかを特定できるよう、カメラ位置データもビデオ中に記録され得る。
この種のマッピングは、当然ながら、すべてのカメラがどこに位置しているかをチェックしてそれらを紙のマップ又はデジタル形式のマップにそれらを記入する人物をおくことにより、手動で実施され得る。デジタルマップ内への地理上の位置決めは、単純に、ディスプレイに示されたマップ中の位置を選択することによって、或いはカメラ位置を表す座標を入力することによって実施され得る。これらの座標は、位置が固有のものとして特定される限り、任意の測地系で付与され得る。
カメラ位置を手動で特定することは、単調且つ労力を要し、また誤りを生じやすいことがある。このことは特に、多数のカメラを含む大規模な調査及び/又は監視システムにあてはまる。しかしながら、これらの問題を克服すべく、そのようなシステムでカメラ位置を特定する方法が開発されている。例えば、各カメラが、例えばGPS、GLONASS、Galileoなどの衛星ナビゲーション回路を備え、自身の座標を中央サーバに伝送し、中央サーバでは位置が登録されマップ上に示されるということが実現されている。これに加えて又は替えて、地理位置がビデオストリーム中に挿入され得る。これはジオタギングと称されることがある。
カメラ網内のカメラの地理位置の収集を容易にする別の方法が、国際特許出願WO2014/013015号に記載されている。特許出願は、輸送体の地理位置を決定できるナビゲーション機器を装備した輸送体について記載している。更に、輸送体は、例えば、弁別可能な色セグメントを有する格子(checkerboard)、発光機器、テクスチャ、及び、経時的に変化する固有の識別子を送信するように構成された光送信機などの光学的に認識可能な構造を担持している。輸送体は調査エリア内の路上を走行し、輸送体の位置が連続的に登録される。登録された位置は、光送信機を通じて送信される連続的に変化する識別子に関連付けられ、双方がコンピュータシステムに送信される。調査エリア内のビデオカメラは、輸送体の画像を捕捉しており、それらをコンピュータシステムへと送信する。コンピュータシステムでは、輸送体を含む画像内の固有の識別子が認識され、輸送体を含む各ピクチャは、輸送体のナビゲーション機器によって登録されている位置とマッチングされ得る。次いで、カメラが輸送体の像を捕捉したときの輸送体の位置に基づいて、且つ輸送体の画像内の位置に基づいて、位置及び方向に関連するカメラの特性が算出される。
このシステムは、調査及び/又は監視システムにおけるカメラの地理位置の特定、収集、及び登録を促進するものである。しかしながら、このシステムは適切な結果を得るには依然として複雑であり、且つかなり先進的なハードウェア及び後処理を要する。
カメラ位置の決定を容易にすることが本発明の目的の1つである。
この目的は、請求項1に記載の方法、及び請求項12に記載のシステムを用いて達成される。本発明の更なる実施形態は従属請求項に提示されている。
具体的には、少なくとも一実施形態によれば、カメラの位置を決定する方法は、モバイルデバイスの地理座標を、モバイルデバイス自体において決定及び登録すること、モバイルデバイスの地理座標を表すパターンをモバイルデバイスのディスプレイ上に提示すること、地理座標を提示しているときに、モバイルデバイスのディスプレイの画像を、カメラを用いて捕捉すること、捕捉されたモバイルデバイスのディスプレイの画像中のパターンを、カメラ内で地理座標に変換すること、及び、捕捉された画像中のパターンから変換された地理座標に基づいて、カメラの位置をカメラ内で決定すること、を含む。モバイルデバイスの位置などの空間情報の提供及び受け取りに、モバイルデバイスのディスプレイとカメラの画像センサとをそれぞれ使用する1つの利点は、カメラ位置の決定プロセスがユーザにとって単純となり得ることである。更に、このプロセスは、既存のハードウェアを用いて実施され得る。即ち、再設計が不要であり、且つ異なるデバイスからのデータのペアリングに起因する同期の問題が回避され得る。
本方法は、モバイルデバイスのディスプレイ上に提示されたパターンの2つの識別可能な特徴の間の距離を特定する値を表すパターンを、モバイルデバイスのディスプレイ上に提示することを更に含み得る。画像を解析しているデバイス、例えば当該カメラに、表示されているパターンの実世界でのサイズについての知識が提示され得、次いで当該パターンがカメラ及びモバイルデバイスの様々な特性の算出に使用され得ることが、1つの利点である。例えば、カメラ位置の算出の正確性を向上させるためにそのような情報が用いられ得る。
更に、本方法は、モバイルデバイスが向けられている地理上の方向を表すパターンをモバイルデバイスのディスプレイ上に提示することを更に含み得る。モバイルデバイスの方向を提供することにより、カメラの視認方向の決定が促進され得る。
パターンは二次元コードであり得、このパターンが、モバイルデバイスのディスプレイ上のパターンによって表されるデータを表し得る。ある実施形態で、パターンはQRコードである。
更に、カメラ位置を決定することが、少なくとも、捕捉された画像内で測定され得るパターンの物理的特徴に基づいて、捕捉された画像中のパターン中の2つの識別可能な特徴間の距離を特定する値に基づいて、及び、モバイルデバイスの地理方向に基づいて、モバイルデバイスによって提示されたパターンから読み出された位置を調整することによって、カメラ位置を算出することを含み得る。これらのステップを実施することにより、他の方式でなされ得るよりも高精度でカメラ位置が決定され得る場合がある。
ある実施形態では、カメラ位置を決定することが、カメラ位置を、モバイルデバイスによって提示された位置として決定することを含む。このスキームの1つの利点は、モバイルデバイスによって提示されたコード中の情報をシステムが解釈することが主に要求されるので、実装が単純であるということである。従って、複雑な計算を要しない。
更に、本方法は、カメラ位置をカメラ内に記憶することを更に含み得る。或いは、カメラ位置がカメラ管理サーバ内に記憶され得る。
本発明の別の態様によれば、カメラの空間特性を決定するシステムは、カメラとモバイルデバイスとを含む。モバイルデバイスは、位置センサ、位置センサを用いて検出された位置を表すパターンを生成するように構成されたパターン生成器、及び前記パターンを視覚的に提示するように構成されたディスプレイを含む。カメラは、シーンの画像を捕捉するための画像センサ、モバイルデバイスのパターン生成器によって生成されて画像センサによって捕捉されたパターン中の情報を解釈するように構成されたパターン解釈器、パターン解釈器による解釈から位置情報を抽出するように構成された位置抽出器、及び、位置抽出器によって抽出された位置に基づいてカメラ位置を設定するように構成されたカメラ位置設定器、を含む。モバイルデバイスの位置などの空間情報を提供及び受け取るのに、モバイルデバイスのディスプレイとカメラの画像センサとをそれぞれ使用する1つの利点は、カメラ位置の決定プロセスがユーザによって単純となり得ることである。更に、このプロセスは、既存のハードウェアを用いて実施され得る。即ち、再設計が不要であり、且つ異なるデバイスからのデータのペアリングに起因する同期の問題が回避され得る。
幾つかのシステムの実施形態では、パターン生成器が、モバイルデバイスのディスプレイ上に提示されたパターンの2つの識別可能な特徴間の距離を特定する情報を含むパターンを生成するように構成されている。画像を解析しているデバイス、例えば当該カメラに、表示されているパターンの実世界でのサイズについての知識が提示され得、次いで当該パターンがカメラ及びモバイルデバイスの様々な特性の算出に使用され得ることが、1つの利点である。例えば、カメラ位置の算出の正確性を向上させるためにそのような情報が用いられ得る。
当該システムのモバイルデバイスは、モバイルデバイスが向けられている方向を検出するように構成された方向センサを更に含み得、パターン生成器は、検出されたそのような方向を特定する情報を含むパターンを生成するように構成され得る。モバイルデバイスの方向を提供することにより、カメラの視認方向の決定が促進され得る。当該システムのモバイルデバイスは、スマートフォン又はタブレットコンピュータであり得る。
ある実施形態では、カメラ位置設定器が、パターンの画像に基づいて、パターンの2つの識別された特徴の間の距離の情報に基づいて、モバイルデバイスの方向に基づいて、及び、モバイルデバイスの位置に基づいて、カメラ位置を算出するように構成された位置計算機を含む。そのような位置計算機の利点は、他の方式でなされ得るよりも高精度でカメラ位置が決定され得る場合があるということである。
ある実施形態では、カメラ位置設定器が、カメラ位置を、モバイルデバイスによって表示されたパターン中に提示された位置と同じ位置に設定するように構成されている。そのような実施形態は、モバイルデバイスによって提示されたコード中の情報をシステムが解釈することが主に要求されるので、実装が容易である。従って、位置を算出するための複雑な計算が不要である。
本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定のコンポーネント部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞(「a」、「an」、「the」、及び「said」)は、文脈によって他のことが明らかに示されない限り、1つ又は複数の要素があることを意味していると意図されることに留意するべきである。したがって、例えば、「センサ」(a sensor)又は「前記センサ」(the sensor)に言及した場合、これは幾つかのセンサなどを含んでもよい。更に、「含む(comprising)」という用語は、他の要素又はステップを除外しない。
添付図面を参照することにより、現時点で好適な実施形態の以下の詳細な説明から、本発明の他の特徴及び利点が明らかになるであろう。
本発明の一実施形態による使用時のカメラの空間特性を決定するシステムの概略図である。 QRコードを表示しているモバイルデバイスの一例であり、本発明の実施形態で使用され得るQRコードの幾つかの特徴が強調されている。 本発明の一実施形態によるモバイルデバイスによって実施されるプロセスを示すフロー図である。 本発明の一実施形態による監視カメラによって実施されるプロセスを示すフロー図である。 本発明の一実施形態によるモバイルデバイスに重ねた概略ブロック図である。 本発明の一実施形態による監視カメラに重ねた概略ブロック図である。 実世界点と画像点との間の線形変換を示す。 画像座標系中のシーン点と実世界座標系中のシーン点との間の関係性を示す。 使用時のレンズの焦点距離を特定する方法の一例を示す。 焦点距離の算出方法を示す。
更に、図面では、同様の参照記号が幾つかの図面間で同様の部分又は対応する部分をさしている。
本発明は、静止している調査及び/又は監視カメラの位置を決定するプロセス及びシステムに関する。カメラは、可動でない、即ち場所から他の場所へと定期的に移動していないという意味において静止している。しかしながら、カメラは、当然ながら、PTZカメラ即ちパン及びチルトが可能なカメラであり得る。
一実施形態によれば(図1を参照)、ディスプレイ12を有するモバイルデバイス10が操作されて、少なくともモバイルデバイス10の地理位置を示す情報を含むQRコードを生成している。当然ながら、例えば、任意の二次元グラフィックコード、任意の一次元グラフィックコード、プレーンテキストなど、QRコード以外の他のグラフィックコードが用いられてもよいが、本発明の理解を促すために、本明細書のすべての実施例でQRコードが使用されることとなる。或いは、例えば、ディスプレイ上の一又は複数の位置における輝度の変化を用いて情報が転送される時間的符号化が用いられてもよい。しかしながら、時間的符号化は、幾つかの二次元グラフィックコードに関連するすべての利点を有しないことがある。モバイルデバイスは、モバイルフォン、携帯GPS、タブレットコンピュータ、又は、ディスプレイと必要な機能的部品とを有した任意の他のデバイスであってよい。それらの機能的部品は実施形態間で異なり、後述される。QRコードがモバイルデバイス10のディスプレイ12上に表示され、モバイルデバイス10のディスプレイが監視システム中の監視カメラ14に見せられる。即ち、モバイルデバイスのディスプレイ上に提示されたQRコードの画像をカメラが捕捉し検出するよう、モバイルデバイスのディスプレイが、光学入力部、例えば監視カメラのレンズに向けられるように一時的に配置される。次いで、QRコードが復号されて、監視カメラが、コード中に付与された位置情報でタグ付けされる。即ち、地理位置情報がカメラ内に記憶され、カメラ位置として識別されるか、或いは中央サーバに記憶される。中央サーバではこの特定のカメラの位置として記憶される。
図2では、モバイルデバイス10のディスプレイ12上に提示されたQRコード22の一例が示されている。図中のQRコード22は本発明による情報を担持しておらず、むしろ、QRコード22が依存し得る、監視カメラ14及び/又は監視システムに対する幾つかの更なるパラメータを説明するために含まれている一例である。一実施形態で、QRコード22は、位置に加えて、QRコード22のディスプレイ固有の空間情報を含む。このディスプレイ固有の空間情報は、ディスプレイ12に提示されているQRコード22の実際のサイズ又は実際の距離に関連し得る。例えば、ディスプレイ固有の空間情報が、QRコード22の2つの角部間の距離 LQを表し得るか、QRコード22中の位置標識Pの幅WP又は高さHPを表し得る。このディスプレイ固有の空間情報が、監視カメラ14とモバイルデバイス10との間の距離を算出するために、監視カメラ14又はシステムによって使用され得る。次いで、算出されたこの距離を用いて、モバイルデバイス10の地理位置(これが監視カメラ内に受け取られる)を調整し、監視カメラ14の実際の地理位置により近似に対応させる。ディスプレイ固有の空間情報が用いられて更なる調整及び計算がなされ得るが、これについては後述する。
更に、QRコード22は、モバイルデバイス10が向いている水平方向に関する情報を含み得る。この方向は、コンパスで使用するように北に対しての度数で付与され得、この水平方向はモバイルデバイス10に含まれている電子コンパスによって生成され得る。水平方向は、パン角又は監視カメラ14の方向とみなされ得る。更に、QRコード22は、モバイルデバイス10が向いている垂直方向、即ちチルト角に関する情報を含み得る。このチルト角は、モバイルデバイス10中のチルトセンサによって生成され得る。
特にモバイルデバイス10のディスプレイ12が監視カメラ14の光軸に対して直角の平面内で実質的に保持されている場合、モバイルデバイス10によって提示されるパン及び/又はチルト方向は、監視カメラの実際のパン及び/又はチルト方向に近似すると想定され得る。そのような場合には、モバイルデバイス10の後部が、監視カメラ14と同じ方向を向くように配置される。ユーザが、モバイルデバイス10のディスプレイ12をディスプレイに対して実質的に直角に容易に保持できるよう、監視カメラ14は、モバイルデバイス10のディスプレイ12上にパターンを検出し得、ディスプレイ12上に提示されたパターン中の直線が実質的に直線として捕捉されるかどうかをチェックし得る。或いは、ディスプレイ12上に提示された同じサイズを有するグラフィック特徴が実際に同じサイズの特徴として捕捉されているかどうかをチェックし得る。監視カメラ14が、モバイルデバイス10のディスプレイ12が光軸に対して実質的に直角であることを特定すると、監視カメラ14は、信号音を発し得るか或いは光源に光を放射させ得る。このタイプの参照パターンとして、QRコード22又は任意の他のコードが使用され得る。更に、QRコード22のパターンが正しく並んだときに監視カメラ14が真の方向を捕捉できるよう、モバイルデバイス10の方向の変化を含めるために、QRコード22は頻繁に変更され得る。
或いは、監視カメラ14が、QRコード22を表すパターンを捕捉し、次いで、QRコード22中に付与された光軸と方向との間の偏差を計算する。この計算は、監視カメラ14によって捕捉されたパターンの射影歪みに基づき得る。そのような計算の例を下記に示す。
別の実施形態では、QRコード22がロール角を含み得る。本出願の記載において、ロール角は、ディスプレイの底部又は上部の端部を水平面(即ち、実世界の水平面)にもってくるために、モバイルデバイス10がディスプレイ12に対して直角の軸周りで回転されねばならない角度として解釈されるべきである。監視カメラ14について、ロール角は、捕捉された画像の底部又は上部の端部を水平面(即ち、実世界の水平面)にもってくるために監視カメラ14が自身の光軸の周囲で回転されねばならない角度と同様のものとして定義される。モバイルデバイス10のロール角は、ある実施形態ではジャイロとの組み合わせで加速度計を用いて検出され得、ディスプレイ12上でQRコード22中に提示され得る。次いで、この情報が監視カメラ14によって使用されて、監視カメラ14のロール角が計算され得る。
更に、一実施形態では、QRコード22が、位置データを提供し且つ可能な場合には他の適用可能なデータを監視カメラ14及び監視システムに提供するよう認証されたモバイルデバイス10として、モバイルデバイス10を認証する、暗号化コードを含む。暗号化コードは、公開鍵暗号化、対称鍵暗号化、又は任意の他のカテゴリの暗号化を用いて実装されてよい。様々なカテゴリの暗号化の周知の実施方式が複数存在する。
位置データ、及び可能な場合には他のデータのQRコード22を介した転送開始は、監視カメラ14にQRコード22の検出プロセスを頻繁に実行させることによって達成される。この方式で、監視カメラ14は常にQRコード22を介して座標及びその他のデータを受け取る準備ができている。1つの欠点は、特定すべきQRコード22がない場合、システムリソースが長期間にわたり浪費されるであろうことである。従って、この方法は恐らく、QRコードが他の目的にも用いられるシステムであって、これら他の目的においてQRコードの使用が頻繁になされ、QRコード検出プロセスを行うためのシステムリソースを高頻度で使用することが許容可能なシステムにおいて使用され得る。QRコードの検出プロセスを行う頻度は、用途に応じて異なり得る。しかしながら、操作者は検出に30秒間よりも長く待機させられるべきでない。監視カメラ14がQRコードを検出すると、監視カメラ14の何らかの標識(音又は光であってよい)が、モバイルデバイス10を制御している者に、QRコード22が検出され且つその処理が開始されたか或いは終了したことを知らせるべきである。
或いは、監視ネットワークを制御するよう認証されたデバイスからのネットワーク上での信号によって、QRコード検出期間が開始される。システムは、監視システム内のすべての監視カメラ14又はそのサブセットに、期間中、所定の間隔でQR検出プロセスを実行させるように構成され得る。好ましくは、プロセスが、モバイルデバイスを監視カメラ14に提示しているユーザがコードが検出されるまでの煩わしい遅延をまったく感じないであろう頻度で、実行されるべきである。検出プロセスが頻繁に実行されるQRコード検出期間は、監視システムの拡張度に全面的に依存して、例えば1時間又は30分間などの特定の長さに設定され得る。或いは、監視ネットワークを制御するよう認証された同じデバイスから、或いは、やはり認証された他のデバイスから信号を送信することによって、QRコード検出期間が手動で終了されてもよい。
上述のうち任意の実施形態により監視カメラ14に提供される情報は、監視カメラ14又は監視システムによって、多くの目的で使用され得る。例えば、位置の情報及び方向の情報は、マップ又は設計図上で監視カメラ14を正しく位置決めするために使用され得る。位置は、監視カメラ14を正しい位置に描画するために用いられ得る。パン方向は、監視カメラ14によって監視されるエリアの指標を描画するために用いられ得る。このエリアの計算は、カメラが使用する焦点距離を考慮することによって精緻化され得る。
監視カメラ14のロール角及び監視カメラ14のチルト角は、傾斜した水平線及び射影歪みを除去するために、捕捉された画像を電子的に調整するために用いられ得る。
更に、監視カメラ14の位置及びパン方向は、監視カメラ14間で追跡対象のハンドオーバーを促進するために、或いは非監視エリアを特定するために監視システムにおいて用いられ得る。
本発明の一実施形態によれば、監視カメラ14の位置を決定するプロセスは、モバイルデバイス10とモバイルデバイス10のディスプレイ12とを装備した人物又は輸送体が、監視カメラ14のほうへ向けられることを含む。モバイルデバイス10が、自身のディスプレイ12が監視カメラ14によって捕捉されている位置にあるとき、それぞれ図3及び4を参照して後述するプロセスが、監視カメラ14の位置決定の一例を表す。ここで図3を参照すると、モバイルデバイス10が地理座標を位置センサから読み取っている(S302)。この地理座標の読み取りは、モバイルデバイス10によって、デバイス10がオンされてから連続的に実施され得る。これはデバイス10のユーザがこのプロセスを含むアプリケーションを始動させることに応答して始まってよく、モバイルデバイス10が監視カメラ14の位置決定に使用されることに関連して始まってよい。すべての実施形態に当てはまるわけではないが、利用可能な場合には、ディスプレイ12又はモバイルデバイス10の後部が向けられている方向が方向センサから読み取られ(S304)、チルト方向が、チルトセンサから読み取られ(S306)、且つ、ロール方向がロールセンサから読み取られる(S308)。チルト方向に使用されるデータとロール方向に使用されるデータとが、同じセンサから読み取られてもよい。次いで、モバイルデバイス10において、センサから読み取られた少なくとも一のデータポストを含むメッセージが生成される(S310)。モバイルデバイス10中に記憶されている所定の認証コード、又はユーザによって入力された認証コードもメッセージに含まれ得る。更に、図2との関連で説明したディスプレイ固有の空間情報もメッセージに含まれ得る。メッセージが生成される際、メッセージはQRコード22に符号化され(S312)、次いでモバイルデバイス10のディスプレイ12上に表示される(S314)。次いで、更新された可能性のあるセンサデータを含む新しいQRコード22を表示すべく、新しいセンサデータを読み取るためにこのプロセスはS302に戻る。
ここで図4を参照すると、監視カメラ14は、監視カメラとしての動作の一部として、画像を連続的に所定のレートで捕捉している(ステップ402)。次いで、現時点で捕捉されている画像がQRコード22についてチェックされる(S404)。QRコード22が発見されない場合(S406)プロセスはS404に戻り、後に捕捉された画像がQRコード22についてチェックされることとなる。これが、捕捉された画像内にQRコード22が発見されるまで繰り返される。連続的に捕捉された画像の各々が、QRコード22についてチェックされる必要はない。QRコード22が発見されると、QRコード22は、監視カメラ14によって処理され得る形態へと変換(translate)されるか或いは復号される(S408)。次いで、得られたメッセージが、有効な認証コードについてチェックされる(S410)。有効な認証コードが発見されない場合(S412)、プロセスはS404に戻り、ここで新しい画像がQRコード22についてチェックされる。しかしながら、認証コードが有効である場合には、メッセージが認証されたセンサデータを含み、このセンサデータが抽出される(S414)。次いで、抽出されたセンサデータポストが監視カメラ14内に記憶され(S416)、そのまま使用されるか、或いは、当該センサデータと、捕捉されたQRコード22の画像を、QRコード22に含まれているディスプレイ固有の空間情報を組み合わせて解析することから得られたデータとを組み合わせることによって、更に精緻化される。次いで、監視カメラ14が自身の全体的な位置(general positioning)、例えば、地理座標、水平方向、垂直方向、及び/又はロール方向の情報を記憶すると、プロセスは終了する。
本発明のプロセスを実施できるモバイルデバイス10の一実施形態を、図5を参照しつつ説明する。モバイルデバイスは、ディスプレイ12、モバイルデバイス10の機能を定めたコードを実行するように構成された処理部102、揮発性メモリ104、非揮発性メモリ106、モバイルデバイス10の情報をディスプレイ12上に提示するためにディスプレイ12とモバイルデバイス10の他の部分とをインターフェースするディスプレイドライバ108、データをモバイルデバイスへ手動で入力するための入力手段110、何らかの地理位置サービスにアクセスすることによってモバイルデバイスの地理位置を取得するためのGPS受信機112、モバイルデバイス10が向いている方向を提供するためのコンパス114、並びに、チルト・ロールセンサ116を含む。チルト・ロールセンサ116は単一のセンサであり得るが、2つの別個のセンサであってもよい。更に、この実施形態に係るモバイルデバイス10は、処理部102によって実行されるプログラムモジュールとして実装されたQRコード生成器118、及び、やはり処理部102によって実行されるプログラムモジュールとして実装されたメッセージ生成器120を含む。
チルト・ロールセンサ116は、少なくともそれらの角度又は方向を検出するように構成された複数の加速度計を含むモジュールであり得る。しかしながら、チルト・ロールセンサ116が2つのチルトセンサであってもよく、例えば、1つが前後チルト(即ちチルト)用でありもう1つが横方向チルト(例えばロール)用であり得る。
本発明のプロセスを実施できる監視カメラ14の一実施形態を、図6を参照して説明する。監視カメラ14は、任意の通常の監視カメラ及び/又は調査用カメラであり得る。本発明は、所定のエリアを監視又は調査している静止カメラに有利に適用される。従って、監視カメラ14は、通常の監視カメラの特徴、例えば、レンズ202、画像センサ204、画像プロセッサ206、中央処理部208、揮発性メモリ210、及び非揮発性メモリ212を含む。更に、監視カメラ14はネットワーク監視カメラであり得、そのような場合には、監視カメラ14が物理及び論理ネットワークインターフェース214を含む。更に、本発明の実施形態の監視カメラ14は、QRコード復号器216、位置設定モジュール218、全方位(global)パン方向設定モジュール220、並びに全方位チルト・ロール設定モジュール222を含む。
QRコード復号器216は、QRコードを表すグラフィックを処理し、モバイルデバイス10においてQRコード22中に符号化されたメッセージを再構成するように構成されている。この処理は、当業者に知られたアルゴリズムによって実施される。その他のグラフィック表現が用いられる用途では、復号器はそれらのグラフィック表現に適合している。例えばコードが、モバイルデバイスのディスプレイ上に提示されるプレーンテキストである場合には光学式文字認識(OCR)式の復号器が実装され、コードがバーコードである場合にはバーコード復号器が実装される。
位置設定モジュール218は、後で使用するために及び/又は中央サーバへ送信するために、位置を監視カメラ14内に記憶するように構成されている。QRコード22中に含まれたディスプレイ固有の空間情報から算出された追加のデータと、捕捉されたQRコード22の画像内で測定される特徴とを考慮することによって、監視カメラ14が位置の正確性を向上させる場合、そのような正確性が向上した計算もまた位置モジュール218において実施され得る。
全方位パン方向設定モジュール220は、監視カメラ14が視認している方向を表すコンパス方向を、後で使用するために及び/又は中央サーバに送信するために、監視カメラ14内に記憶するように構成されている。QRコード22中に含まれたディスプレイ固有の空間情報から算出された追加のデータと、捕捉されたQRコード22の画像内で測定される特徴とを考慮することによって、監視カメラ14がパン方向の正確性を向上させる場合には、そのような正確が向上した計算もまた全方位パン方向設定モジュール220において実施され得る。
全方位チルト・ロール設定モジュール222は、カメラのチルトを表す値と、監視カメラ14のロールを表す値とを、後で使用するために及び/又は中央サーバに送信するために、監視カメラ14内に記憶するように構成されている。QRコード22中に含まれたディスプレイ固有の空間情報から算出された追加のデータと、捕捉されたQRコード22の画像内で測定される特徴とを考慮することによって、監視カメラ14がロール及び/又はチルトの正確性を向上させる場合には、そのような正確が向上した計算もまた全方位チルト・ロール設定モジュール222において実施され得る。
監視カメラは、監視カメラ14の光学システム202の現在の焦点距離に関するデータを提供するように構成された焦点距離検出器224も含み得る。焦点距離検出器224は、ステップモータ、又はカメラのズーム機能を制御する任意の他の制御システムからの位置信号として実装され得るか、或いは、監視カメラの処理部で実行されて捕捉された画像データを解析する画像解析方法の実装であってもよい。更に、焦点距離が変更できないシステムにおいては、焦点距離値が監視カメラ内に記憶されて計算に用いられ得る。
捕捉された画像中にQRコードが存在するか否かの検出が、画像プロセッサ206において実施され得る。モバイルデバイス10又は監視カメラ14の、先述のフロー図で説明したプロセス及びその他の機能は、個々のデバイスの処理部(例えば、モバイルデバイス10の処理部102及び監視カメラ14の中央処理部208)で実行されるプログラムコードとして実装され得るか、或いはこれらのプロセス又は機能が論理回路を用いて実装され得る。
一実施形態によれば、監視カメラ14が中央サーバ20を含むネットワークに接続されており、上述のように取得された任意の位置及び方向データが、更なる使用又は処理のために中央サーバ20に送信され得る。そのようなネットワークシステムは、本発明を実装した更なる監視カメラ16を含み得る。カメラの位置及び方向に関するデータは、図の正確な位置に、特定の監視カメラの表示とカメラの方向、及びカメラが設置されている方向のカメラ視野の指標を描画するために用いられ得る。
先述したように、カメラの位置及び方向のより精密な決定は、QRコードのサイズ及び形状についての情報、又はモバイルデバイス上に表示されるその他のパターンを用いて、モバイルデバイスの位置及び方向に基づいて算出され得る。例えば、実世界の3D座標とカメラの3D座標との間の関係性を表すホモグラフィが使用され得る。
モバイルデバイスの地理座標が決定されており且つQRコードを捕捉することによって入手可能であり、QRコードのサイズ及び形状についての情報もまたQRコードに含まれている場合、モバイルデバイスとカメラとの間の位置及び向きの関係性が決定され得る。従って、いわゆるカメラキャリブレーション方式として知られた原理を用いて、カメラとモバイルデバイスとの間の位置及び方向の差を決定し、これらの差を用いてモバイルデバイスの位置及び方向からカメラの位置及び方向を決定することにより、カメラ位置がより正確に決定され得る。
QRコードのサイズ及び形状についての情報が与えられると、QRコード自体の座標系におけるQRコードの各点(例えば、角部及び位置標識)の位置が既知となる。QRコード画像中の点を、モバイルデバイス上に表示されたQRコード中の対応する点とマッチさせることにより、座標ペアが得られる。そのようなペアの座標間の関係性は下記の式で表され得る。
(xi,yi)→(Xi,Yi,Zi)
式中、(x,y)は画像中の2D座標を表し、(X,Y,Z)は実世界における3D座標を表す。
実世界点(例えば表示されたQRコード中の点)と画像点(例えばカメラによって捕捉されたQRコード中の点)とが、同次ベクトルで表され得る。図7を参照すると、その中央射影は一次変換であり、下記のように表され得る。
Figure 0006484587
式中、fはカメラの焦点距離であり、(x,y,f)は画像中の点の3D座標を表し、(x,y,z)はシーン中の対応する点の3D座標を表す。
Figure 0006484587
ここで示した計算は、現在の焦点距離を予め知ることなく実施され得るが、焦点距離が既知であれば計算がより速くなるであろう。現在の焦点距離を取得する方法の幾つかの例について、本明細書において後ほど述べる。
(x,y)で表される画像中心と、k及びkで表される長さからピクセルへのスケーリングのための倍率とを用いて、長さからピクセルへの変換がなされ得る。下記の2つの方程式で、xpix及びypixは、ピクセルで測定された座標を表す。
Figure 0006484587
上記の長さで表した方程式と同様、下記のピクセルで表した方程式が用いられ得る。
Figure 0006484587
式中、
α=fk
α=fk
これはピクセルで与えられた焦点距離として考慮される。
ピクセル座標は下記のように表される。
Figure 0006484587
傾斜(skew)パラメータSを加え、下記のように再構成がなされ得る。
Figure 0006484587
3×3の上三角行列Kは、キャリブレーション行列と称される。行列K中のパラメータはカメラの内部パラメータを含み、変換操作において重要なインプットである。
図8及び9を参照すると、画像座標系中のシーン点(x,y,z)と実世界座標系中のシーン点(X,Y,Z)との間の関係性が、画像座標系の始点から実世界座標系の始点への並進ベクトルCO=Tを、実世界座標系中の点Mを表すベクトルに加えることによって得られ得る。
CM=CO+OM,
i+yj+zk=Ti+Tj+Tk+XI+YJ+ZK,
=T+XI.i+YJ.i+ZK.i,
Figure 0006484587
これは同次座標を用いて下記のように記され得る。
Figure 0006484587
或いは、これを以下のように表してもよい。
CM=OM−OC,
i+yj+zk=(X−X)I+((Y−YSC)J+(Z−Z)K,
=(X−X)I.i+((Y−Y)J.i+((Z−Z)K.i,
cam=R(X−C).
は、世界座標中に表されたベクトルOCである。Tのかわりに−RCを用いて、下記の方程式が設定され得る。
Figure 0006484587
カメラ射影行列と座標変換行列とが、1つの行列Pへと組み合わされ得る。
Figure 0006484587
により、
Figure 0006484587
これを以下のように表し得る。
Figure 0006484587
又は
x=PX
これは下記のように簡約され得る。
Figure 0006484587

この行列Pは11自由度を有し、このうち5は三角キャリブレーション行列Kからであり、3はRからであり、3はC~からである。Pが3x4行列であり、左の3x3部分行列KRは正則であることに留意されたい。Pは、シーン中の点と対応する画像中の点とを用いて推定され得る。キャリブレーション行列Kが既知である場合、この推定が大幅に単純化される。しかしながら、十分な数の点のペアを用いて、キャリブレーション行列が未知であってもPが推定され得る。
カメラの並進を決定するために、シーン中のCの同次座標が見出されるべきである。Cは行列Pの零ベクトルである。従って、
Figure 0006484587
Pの零ベクトルCは特異値分解を用いて見出され得る。
更に、カメラの向き及び内部パラメータが見出され得る。ここで、Pの左の3x3部分行列MがM=KRの形であることに留意されたい。Kは上三角行列であり、Rは直交行列である。正則行列Mは、RQ因数分解を用いてKとRとの積へ分解され得る。既に述べたように、キャリブレーション行列Kが既知である場合、即ちカメラがキャリブレートされている場合、計算は単純化される。
行列Pは、世界座標系中の3D点Xと、画像中のX対応する画像xとをとり、すべてのiについてx=PXを記述することによって、計算され得る。次いで、この行列Pを用いて、モバイルデバイス上に表示されたQRコードに記述されたモバイルデバイスの位置に基づいて、P行列から算出したパラメータによって調整されたカメラの位置及び向きが計算され得る。実世界座標中のQRコードに対するカメラ位置、即ち、カメラによって捕捉された画像平面の外の三次元の世界に関する座標が、行列Cによって提供され、実世界座標系の3つの軸に関するカメラの向き、即ちこれらの軸を考慮したカメラの回転が行列R中に提供される。
このような計算は、例えばOpenCV又はMatlabのCamera Calibration Toolboxなどの市販のソフトウェアコードを用いて実施され得る。
上記のP行列から、システム(即ちレンズ)の焦点距離が抽出され得る。しかしながら、計算速度を速め、上記の行列を解くのに要する処理パワーを抑えるために、焦点距離が事前に提供されてもよい。そのような場合、例えば、焦点距離レンズが固定されているシステムでは、焦点距離が事前設定され得るか、又は入力されている。或いは、監視カメラが焦点距離を自動で決定する方法を用い得る。使用されるレンズの焦点距離を特定するための方法は多数存在する。そのような方法の1つでは、下記の方程式で示す近似値が用いられる(図10を参照)。
Figure 0006484587
この方程式で、hは高さHを有する物体の捕捉された高さであり、例えば、図2のグラフィックコードの距離LQ又はモバイルデバイス全体の高さである。Lはカメラから物体までの距離であり、fは使用されているレンズの焦点距離である。画像センサで捕捉された物体の高さhが、カメラから第1の距離 Lでカメラによって決定され、次いで、画像センサで捕捉された物体の高さhが、第2の距離 Lでカメラによって決定される(図11を参照)場合に、焦点距離f が算出され得る。
Figure 0006484587
これを達成するには、物体の2つの捕捉画像間で動いた距離(下記のdで示す)が、測定されるか又は推定される。
d=L−L
物体の実際の高さは位置に関わらず同じであり、下記の結果となる。
Figure 0006484587
且つ、
=h=h(L−d)
よって、
Figure 0006484587
結果として、下記の焦点距離の方程式となる。
Figure 0006484587
従って、異なる2つの瞬間で捕捉したグラフィックコード間の所定の距離で、グラフィックコードの2つの画像を捕捉することによって、カメラが焦点距離を算出できる。
他の実施形態では、モバイルデバイスを監視カメラ14と接触させて保持することによって、監視カメラ14の位置が決定され得る。モバイルデバイス10を監視カメラ14と実質的に同じ地理位置に位置させるために、モバイルデバイス10はレンズの前部上に保持され得る。モバイルデバイス10の後部又は前部が監視カメラ14のレンズのリムと同一平面で保持される場合には、モバイルデバイス10の方向とモバイルデバイスの方向とが実質的に対応することとなる。更に、監視カメラ14のロール角をモバイルデバイス10のロール角に実質的に対応させるために、モバイルデバイス10を保持しているユーザは、モバイルフォンの実質的に直線状の縁部が監視カメラ14の実質的に直線状の特徴部と視覚的に位置合わせされるまで、モバイルデバイス10のロール角を動かし得る。例えば、ユーザが、モバイルデバイスの上端を監視カメラ14の上端又は上面に平行に保持しようとし得る。モバイルデバイス10が上述のような位置に保持されると、ユーザは、モバイルデバイス10によって検出された地理位置、方向、及びロール角のうちの任意の1つ又は任意の組み合わせを少なくとも一時的に記憶するプロセスをトリガする。この記憶プロセスは、ユーザがモバイルデバイス10上のボタンを押すことによって、又は任意の他のトリガ操作によってトリガされ得る。モバイルデバイス10は、上述のようにモバイルデバイスのディスプレイ12上に表示するためのグラフィックコード22を生成する。グラフィックコード22は、記憶されたデータ(例えば、地理位置、方向、及び/又はロール角)のうちの少なくとも幾つかを含む。先に述べたように、本明細書においてグラフィックコードはQRコードであり得る。モバイルデバイス10は、監視カメラ14のレンズから、モバイルデバイス10のディスプレイが監視カメラ14自体によって捕捉され得る距離へと移動される。次いで、監視カメラはグラフィックコードを復号し得、どの特徴がグラフィックコードに符号化されているかに応じて、その地理位置、その視認方向、及び/又はそのロール角を決定し得る。
この設定においてロール角は動的であってもよい。即ち、その他の位置データを記憶するようモバイルデバイス10がトリガされたときに補足された値にロックされなくてよい。次いで、監視カメラ14は、先に述べたように当該ロール角データで動作し得、ロール角データ従ってQRコードは頻繁に更新される。
他の実施形態では、上記のプロセスを用いて、捕捉される画像中の水平レベルを得るために作業員が監視カメラ14を設置又は保守するのを援助してもよい。上記のいずれの実施形態でも述べられたように、モバイルデバイス10はカメラの前で保持される。モバイルデバイスのディスプレイ12上に提示されたグラフィックコードは、少なくともモバイルデバイス10のロール角に関する情報により頻繁に更新される。カメラは、捕捉されたグラフィックコードの画像と、グラフィックコードが担持する復号された情報とに基づいて、自身のロール角を算出する。即ち、監視カメラが、捕捉された画像とモバイルデバイス10から提供された情報とに基づいて自身のロール角を算出する。次いで、例えば、監視カメラ自体によって、又は当該カメラに接続されたネットワーク内の演算装置によって、得られた監視カメラのロール角が評価され、ロール角が容認可能か否かを示すために、監視カメラ14によって生成される音又は光が制御される。音又は光は、ロール角が容認可能であるか、或いは容認可能でないかの何れかを示すために生成され得る。
そのような実装の理解を促すために一例を挙げる。モバイルデバイスが、カメラによって捕捉されるようにグラフィックコードを示しつつ監視カメラ14の前に保持される。カメラが、監視カメラの光軸の周囲にあり且つ水平線に対して角度付けされている場合、発光ダイオード(LED)が起動して発光する。次いで、カメラを設置又は保守している人物が、ロール角が容認可能であることを示すLED発光停止まで、カメラを光軸の周囲で回転させ得る。
カメラ位置の決定時に高度な正確性が求められる場合、モバイルデバイスがカメラの前で移動されるとモバイルデバイス上に表示されたQRコード又は他のパターンが更新される必要がある。しかしながら、これは不完全又は破損したQRコードを捕捉するというリスクにつながる。カメラが画像を捕捉するフレームレートがモバイルデバイスの表示更新頻度に必ずしも同期していないからである。モバイルデバイスの表示の更新時に捕捉された画像は、古いQRコードと新しいQRコードとの混合を含み得る。不完全なQRコードの捕捉という問題を低減するために、カメラのフレームレートよりも1秒あたり少ない回数でディスプレイ上のパターンが更新されるように、モバイルデバイスの表示更新頻度が低減され得る。例えば、ディスプレイは、カメラによって捕捉されるフレーム2つ又は3つに相当する間隔で更新され得る。それでも、カメラ位置の決定の正確性を低下させ得る遅延が付加され得、且つQRコード画像の不必要な複製を処理することを示唆し得る。
これに替えて、不完全なQRコードの捕捉リスクが、カメラとディスプレイとの異なる色チャネルを利用することによって低減され得る。QRコードが更新されるとき、コードがまず緑色チャネルで更新される一方、赤及び青色チャネルは依然として前のQRコードを示している。次にQRコードが更新されるとき、赤及び青色チャネルが更新される一方、緑色チャネルは前と同じQRコードを表示する。従って、1つ又は2つの色チャネルが、モバイルデバイスの最も最近の決定位置に対応するQRコードを表示し、その他の1つ又は2つの色チャネルが、モバイルデバイスの前の決定位置に対応するQRコード表示している状態で、ディスプレイは2つのQRコードを同時に表示することとなる。まず色チャネルのうちの1つ(例えば、赤)を更新し、次いで、別の色チャネル(例えば緑)、最後に残りの色チャネル (例えば青)、という3ステップのプロセスで更新を実施することも可能であり得る。QRコードを地理位置に変換することが、カメラにおいて、1つの、又は適用できる場合には2つの色チャネルで同時に行われる。捕捉された画像の色チャネルの1つが不完全な又は混成されたQRコードを含む場合でも、他の色チャネル(一又は複数)が依然としてカメラ位置の決定に使用され得る。有利には、QRコードが、カメラによって捕捉される各画像において一度位置決定される必要があり、次いで、二度(又は、更新が分割される色チャネルの数に応じて、三度)即ち、適用できる色チャネルごとに一度、復号又は位置へと変換される。
そのような更新方式はQRコードに限定されず、先に述べたような如何なる種類のパターンにも用いられ得ることを当業者は認識するであろう。この方式はまた、RGB(赤、緑、青)色空間に限定されず、モバイルデバイスディスプレイと利用できるカメラとの組み合わせによって任意の色空間で用いられ得る。

Claims (17)

  1. カメラの地理位置を決定する方法であって、
    モバイルデバイスの地理座標を、前記モバイルデバイス自体において決定及び登録すること、
    前記モバイルデバイスの前記地理座標及び実際の距離を含む空間情報を表す少なくとも1つのパターンを前記モバイルデバイスのディスプレイ上に提示すること、
    前記パターンを提示しているときに、前記モバイルデバイスの前記ディスプレイの画像を、前記カメラを用いて捕捉すること、
    捉された前記モバイルデバイスの前記ディスプレイの画像中の前記パターンを、前記カメラ内で地理座標及び空間情報に変換すること、及び
    捉された画像中の前記パターンから変換された前記地理座標及び変換された前記空間情報に基づいて、前記カメラの前記地理位置を前記カメラ内で決定すること
    を含む、方法。
  2. 前記空間情報が、前記地理座標を表す前記パターンの2つの識別可能な特徴間の実際の距離を特定する値を含む、請求項1に記載の方法。
  3. 前記モバイルデバイスが向けられている地理上の方向を表すパターンを、前記モバイルデバイスの前記ディスプレイ上に提示することを更に含む、請求項1又は2に記載の方法。
  4. 前記パターンが二次元コードであり、このパターンが、前記モバイルデバイスの前記ディスプレイ上のパターンによって表されるデータを表す、請求項1から3の何れか一項に記載の方法。
  5. 前記パターンがQRコードである、請求項1から4の何れか一項に記載の方法。
  6. 前記カメラの前記地理位置を決定することが、少なくとも、前記捕捉された画像内で測定される前記パターンの物理的特徴に基づいて、前記捕捉された画像の前記パターン中の2つの識別可能な特徴間の前記実際の距離を特定する前記値に基づいて、及び、前記モバイルデバイスの前記地理上の方向に基づいて、前記モバイルデバイスによって提示された前記パターンから読み出された前記地理位置を調整することによって、前記カメラの前記地理位置を算出することを含む、請求項2に従属する請求項3に記載の方法。
  7. 前記カメラの前記地理位置を決定することが、前記カメラの前記地理位置を、前記モバイルデバイスによって提示された地理位置として決定することを含む、請求項1に記載の方法。
  8. 前記カメラの前記地理位置を前記カメラ内に記憶することを更に含む、請求項1から7の何れか一項に記載の方法。
  9. 前記カメラの前記地理位置をカメラ管理サーバ内に記憶することを更に含む、請求項1から7の何れか一項に記載の方法。
  10. カメラとモバイルデバイスとを含み、且つ前記カメラの地理位置を決定するためのシステムであって、
    前記モバイルデバイスが、位置センサ、前記位置センサを用いて検出された地理位置及び実際の距離を含む空間情報を表す少なくとも1つのパターンを生成するように構成されたパターン生成器、及び前記パターンを視覚的に提示するように構成されたディスプレイを備え、
    前記カメラが、シーンの画像を捕捉するための画像センサ、前記モバイルデバイスの前記パターン生成器によって生成され前記画像センサによって捕捉された前記パターン中の前記空間情報を含む情報を解釈するように構成されたパターン解釈器、前記パターン解釈器による前記解釈から前記地理位置の情報を抽出するように構成された位置抽出器、及び、前記位置抽出器によって抽出された前記地理位置及び前記空間情報に基づいて前記カメラの前記地理位置を設定するように構成されたカメラ位置設定器を備える、システム。
  11. 前記空間情報が、前記モバイルデバイスの前記ディスプレイ上に提示された前記パターンの2つの識別可能な特徴間の実際の距離を含む、請求項10に記載のシステム。
  12. 前記モバイルデバイスが、前記モバイルデバイスが向けられている方向を検出するように構成された方向センサを更に含み、前記パターン生成器が、検出されたそのような方向を特定する情報を含むパターンを生成するように構成されている、請求項10又は11に記載のシステム。
  13. 前記モバイルデバイスがスマートフォン又はタブレットコンピュータである、請求項10から12の何れか一項に記載のシステム。
  14. 前記カメラ位置設定器が、前記パターンの前記画像に基づいて、前記パターンの2つの識別された特徴の間の前記実際の距離の前記情報に基づいて、前記モバイルデバイスの方向に基づいて、及び、前記モバイルデバイスの前記地理位置に基づいて、前記カメラの前記地理位置を算出するように構成された位置計算機を含む、請求項11に従属する請求項12に記載のシステム。
  15. 前記カメラ位置設定器が、前記カメラの前記地理位置を、前記モバイルデバイスによって表示された前記パターン中に提示された前記地理位置と同じ地理位置に設定するように構成されている、請求項10に記載のシステム。
  16. カメラの地理位置を決定する方法であって、
    モバイルデバイスの地理座標を、前記モバイルデバイス自体において決定及び登録すること、
    前記モバイルデバイスの前記地理座標及び前記モバイルデバイスが向けられている地理上の方向を表す少なくとも1つのパターンを、前記モバイルデバイスのディスプレイ上に提示すること、
    前記パターンを提示しているときに、前記モバイルデバイスの前記ディスプレイの画像を、前記カメラを用いて捕捉すること、
    捕捉された前記モバイルデバイスの前記ディスプレイの画像中の前記パターンを、前記カメラ内で地理座標及び前記モバイルデバイスの地理上の方向に変換すること、及び
    捕捉された画像中の前記パターンから変換された前記地理座標及び前記モバイルデバイスの前記地理上の方向に基づいて、前記カメラの前記地理位置を前記カメラ内で決定すること
    を含む、方法。
  17. カメラとモバイルデバイスとを含み、且つ前記カメラの地理位置を決定するためのシステムであって、
    前記モバイルデバイスが、位置センサ、前記モバイルデバイスが向けられている方向を検出するように構成された方向センサ、前記位置センサを用いて検出された地理位置を表すパターンと、検出されたそのような方向を特定する情報を含むパターンとを生成するように構成されたパターン生成器、及び前記パターンを視覚的に提示するように構成されたディスプレイを備え、
    前記カメラが、シーンの画像を捕捉するための画像センサ、前記モバイルデバイスの前記パターン生成器によって生成され前記画像センサによって捕捉された前記パターン中の前記情報を解釈するように構成されたパターン解釈器、前記パターン解釈器による解釈から前記地理位置の情報を抽出するように構成された位置抽出器、並びに前記位置抽出器によって抽出された前記地理位置及び前記モバイルデバイスの検出された方向に基づいて、前記カメラの前記地理位置を設定するように構成されたカメラ位置設定器を備える、システム。
JP2016096203A 2015-05-19 2016-05-12 カメラの空間特性を決定する方法及びシステム Active JP6484587B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP16199538.6A EP3242245B1 (en) 2015-05-19 2016-11-18 Method and system for transmission of information
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템
CN201710303871.4A CN107346406B (zh) 2015-05-19 2017-05-03 用于信息传输的方法及系统
US15/585,941 US10152665B2 (en) 2015-05-19 2017-05-03 Method and system for transmission of information
TW106114732A TWI657377B (zh) 2015-05-19 2017-05-04 用於傳輸資訊的方法及系統
KR1020180077844A KR102019412B1 (ko) 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15168222.6A EP3096290B1 (en) 2015-05-19 2015-05-19 Method and system for determining camera pose
EP15168222.6 2015-05-19

Publications (3)

Publication Number Publication Date
JP2017021328A JP2017021328A (ja) 2017-01-26
JP2017021328A5 JP2017021328A5 (ja) 2018-10-11
JP6484587B2 true JP6484587B2 (ja) 2019-03-13

Family

ID=53268640

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016096203A Active JP6484587B2 (ja) 2015-05-19 2016-05-12 カメラの空間特性を決定する方法及びシステム
JP2017084103A Active JP6473475B2 (ja) 2015-05-19 2017-04-21 情報を送信する方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017084103A Active JP6473475B2 (ja) 2015-05-19 2017-04-21 情報を送信する方法及びシステム

Country Status (6)

Country Link
US (2) US10373035B2 (ja)
EP (2) EP3096290B1 (ja)
JP (2) JP6484587B2 (ja)
KR (3) KR20160136233A (ja)
CN (2) CN106169184A (ja)
TW (2) TWI718150B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881378B2 (en) * 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
KR102568996B1 (ko) * 2016-08-25 2023-08-21 한화비전 주식회사 감시카메라 설정 방법과 감시카메라 관리 방법 및 시스템
KR101993512B1 (ko) 2017-04-21 2019-09-30 성균관대학교산학협력단 스크린-카메라 통신을 위한 암호화 코드 출력 방법 및 장치
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
KR102604170B1 (ko) * 2018-09-27 2023-11-20 삼성전자주식회사 전자 장치 및 그 제어 방법
US10740666B2 (en) * 2018-09-27 2020-08-11 Caleb J. Webster Two-dimensional cryptographic poly-chromatic poly-digital code
FI130829B1 (fi) * 2019-01-02 2024-04-12 Procemex Oy Ltd Menetelmä koneluettavan koodin käyttämiseksi kameran ohjaamiseen havaitsemaan ja tarkkailemaan kohteita
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN110300286A (zh) * 2019-07-17 2019-10-01 维沃移动通信有限公司 一种图像显示方法及终端
CN114730212A (zh) 2019-12-05 2022-07-08 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
FI129144B (fi) * 2020-04-03 2021-08-13 Doop Oy Laitteen asetusten määrittäminen halutuiksi
US11610088B1 (en) * 2020-04-07 2023-03-21 Apple Inc. Time varying visual marker verification and decoding
JP7456911B2 (ja) * 2020-10-13 2024-03-27 株式会社日立製作所 情報処理システム及び情報処理装置
CN113345028B (zh) * 2021-06-01 2022-04-26 亮风台(上海)信息科技有限公司 一种确定目标坐标变换信息的方法与设备
US11861864B2 (en) 2021-07-23 2024-01-02 Vgis Inc. System and method for determining mediated reality positioning offset for a virtual camera pose to display geospatial object data
CN113605276B (zh) * 2021-10-08 2022-01-25 中交第一公路勘察设计研究院有限公司 一种公路用雷视一体机的辅助安装装置和角度校准方法
WO2023138747A1 (en) * 2022-01-18 2023-07-27 Robert Bosch Gmbh Method for a configuration of a camera, camera arrangement, computer program and storage medium

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285585A (ja) * 1997-04-10 1998-10-23 Matsushita Electric Ind Co Ltd 監視カメラおよび監視カメラシステム
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
JP2003324713A (ja) * 2002-05-01 2003-11-14 Matsushita Electric Ind Co Ltd 映像システムおよびカメラ装置
KR100678169B1 (ko) 2004-10-28 2007-02-02 삼성전자주식회사 서로 이격된 두 단말기 사이의 데이터 전송 시스템 및 방법
US7543748B2 (en) 2005-02-16 2009-06-09 Pisafe, Inc. Method and system for creating and using redundant and high capacity barcodes
US8531521B2 (en) 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
JP4404913B2 (ja) 2007-01-23 2010-01-27 Necインフロンティア株式会社 バーコード読取装置及び読取方法
US8055887B2 (en) 2008-03-07 2011-11-08 International Business Machines Corporation Dynamically updating barcode data
JP5136302B2 (ja) * 2008-03-27 2013-02-06 株式会社デンソーウェーブ 二次元コード、二次元コード生成方法、二次元コードを表示させるコンピュータ読み取り可能なプログラム、二次元コードを利用した認証方法、及び二次元コードを利用した情報提供方法
JP2010114584A (ja) * 2008-11-05 2010-05-20 Mitsubishi Electric Corp カメラ装置
CN102365137A (zh) * 2009-02-10 2012-02-29 工业纸折品股份有限公司 具有弯折控制结构的材料板和方法
GB0903063D0 (en) 2009-02-24 2009-04-08 Geotate Bv automatic configuration
US8720780B2 (en) 2009-04-08 2014-05-13 Blackberry Limited Systems, devices, and methods for displaying a barcode at a computing device
US8186572B2 (en) 2009-07-02 2012-05-29 Barcode Graphics Inc. Systems and methods for animating barcodes
JP5347847B2 (ja) 2009-08-31 2013-11-20 株式会社リコー 画像撮影装置、通信確立方法、プログラム
TW201113815A (en) * 2009-10-09 2011-04-16 Primax Electronics Ltd QR code processing method and apparatus thereof
JP5378181B2 (ja) * 2009-12-07 2013-12-25 株式会社日立製作所 システム、システム構築方法、管理端末、プログラム
US20120012731A1 (en) * 2010-07-16 2012-01-19 Esw Inc. Fastenerless Engine Exhaust Component Suspension Device
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
EP2469467A1 (en) 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
US9015806B2 (en) 2011-10-07 2015-04-21 Maxim Integrated Products, Inc. Sending digital data visually using mobile display and camera sensor
US8821277B2 (en) 2011-12-16 2014-09-02 Wesley John Boudville Colour barcodes and cellphone
CN102546174A (zh) * 2011-12-20 2012-07-04 贾松仁 二维码加密/解密方法和防伪方法
JP2013145996A (ja) * 2012-01-16 2013-07-25 Hitachi Ltd 監視カメラシステムおよび情報設定端末
EP2639738A1 (de) * 2012-03-13 2013-09-18 Siemens Aktiengesellschaft Verfahren und Lesegerät zur Erfassung einer Mehrzahl nacheinander auf eine Anzeigevorrichtung dargestellter zweidimensionaler Codes
US9253728B2 (en) * 2012-04-30 2016-02-02 Apple Inc. Operating geographic location systems
US8879832B2 (en) 2012-06-26 2014-11-04 Xerox Corporation Color matrix code
EP2709058B1 (en) 2012-07-18 2015-09-02 AGT International GmbH Calibration of camera-based surveillance systems
WO2014022905A1 (en) * 2012-08-10 2014-02-13 Research In Motion Limited Stacked device position identification
TW201435830A (zh) * 2012-12-11 2014-09-16 3M Innovative Properties Co 不顯眼之光學標籤及其方法
US20140211018A1 (en) * 2013-01-29 2014-07-31 Hewlett-Packard Development Company, L.P. Device configuration with machine-readable identifiers
CN103280153A (zh) * 2013-05-24 2013-09-04 南京邮电大学 一种基于qr码的移动终端定位方法
JP2014235676A (ja) 2013-06-05 2014-12-15 三星電子株式会社Samsung Electronics Co.,Ltd. 二次元カラーコード表示装置、及びその表示方法、二次元カラーコード読み取り装置、及びその読み取り方法
US20150035846A1 (en) 2013-08-02 2015-02-05 Alex Ioannidis Scannable time-varied geometric representation of data
EP2858010A1 (en) * 2013-10-01 2015-04-08 Inventio AG Data transmission using optical codes
US9506761B2 (en) * 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
US9786276B2 (en) * 2014-08-25 2017-10-10 Honeywell International Inc. Speech enabled management system
CN104408698B (zh) * 2014-10-29 2017-06-06 中山大学 一种基于压缩感知的二维码图像光照均衡方法
EP3101920B1 (en) 2014-11-06 2017-06-14 Axis AB Method and peripheral device for providing a representation of how to alter a setting affecting audio reproduction of an audio device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Also Published As

Publication number Publication date
CN107346406A (zh) 2017-11-14
US20170323187A1 (en) 2017-11-09
TW201741934A (zh) 2017-12-01
JP6473475B2 (ja) 2019-02-20
US10152665B2 (en) 2018-12-11
EP3096290A1 (en) 2016-11-23
EP3242245A1 (en) 2017-11-08
TWI657377B (zh) 2019-04-21
KR20180081028A (ko) 2018-07-13
EP3096290B1 (en) 2018-07-18
KR20160136233A (ko) 2016-11-29
US20160343137A1 (en) 2016-11-24
JP2017224282A (ja) 2017-12-21
EP3242245B1 (en) 2018-06-06
CN106169184A (zh) 2016-11-30
JP2017021328A (ja) 2017-01-26
KR20170125726A (ko) 2017-11-15
KR101913371B1 (ko) 2018-10-30
US10373035B2 (en) 2019-08-06
TWI718150B (zh) 2021-02-11
KR102019412B1 (ko) 2019-09-06
TW201710997A (zh) 2017-03-16
CN107346406B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
JP6484587B2 (ja) カメラの空間特性を決定する方法及びシステム
US11393173B2 (en) Mobile augmented reality system
JP2017224282A5 (ja)
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
CN104204848B (zh) 具有测距相机的勘测设备
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
US11758100B2 (en) Portable projection mapping device and projection mapping system
JP2008203991A (ja) 画像処理装置
US20170004377A1 (en) Hypotheses line mapping and verification for 3d maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180831

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6484587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250