KR20160136233A - 카메라의 공간적 특성들을 결정하는 방법 및 시스템 - Google Patents

카메라의 공간적 특성들을 결정하는 방법 및 시스템 Download PDF

Info

Publication number
KR20160136233A
KR20160136233A KR1020160055252A KR20160055252A KR20160136233A KR 20160136233 A KR20160136233 A KR 20160136233A KR 1020160055252 A KR1020160055252 A KR 1020160055252A KR 20160055252 A KR20160055252 A KR 20160055252A KR 20160136233 A KR20160136233 A KR 20160136233A
Authority
KR
South Korea
Prior art keywords
camera
mobile device
pattern
display
code
Prior art date
Application number
KR1020160055252A
Other languages
English (en)
Inventor
마르쿠스 스칸스
비요른 알되
이고르 구로브스키
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Priority to EP16199538.6A priority Critical patent/EP3242245B1/en
Publication of KR20160136233A publication Critical patent/KR20160136233A/ko
Priority to JP2017084103A priority patent/JP6473475B2/ja
Priority to KR1020170055280A priority patent/KR101913371B1/ko
Priority to CN201710303871.4A priority patent/CN107346406B/zh
Priority to US15/585,941 priority patent/US10152665B2/en
Priority to TW106114732A priority patent/TWI657377B/zh
Priority to KR1020180077844A priority patent/KR102019412B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • H04N5/2251—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G01N17/02—Electrochemical measuring systems for weathering, corrosion or corrosion-protection measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1095—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner comprising adaptations for scanning a record carrier that is displayed on a display-screen or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06T7/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은, 모바일 디바이스의 지리적 좌표들을 상기 모바일 디바이스 자체에서 결정하고 등록하는 단계와; 상기 모바일 디바이스의 지리적 좌표들을 나타내는 패턴을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계와; 상기 지리적 좌표들을 나타낼 때 상기 모바일 디바이스의 디스플레이의 이미지를 상기 카메라에 의해 캡처하는 단계와; 상기 모바일 디바이스의 디스플레이의 상기 캡처된 이미지 내의 상기 패턴을 지리적 좌표들로 상기 카메라에서 변환하는 단계와; 그리고 상기 캡처된 이미지 내의 상기 패턴으로부터 변환된 상기 지리적 좌표들에 기초하여 상기 카메라의 위치를 상기 카메라에서 결정함으로써 카메라의 위치를 결정하는 방법에 관한 것이다.

Description

카메라의 공간적 특성들을 결정하는 방법 및 시스템{METHOD AND SYSTEM FOR DETERMINING SPATIAL CHARACTERISTICS OF A CAMERA}
본 발명은 카메라의 공간 특성들, 특히, 카메라의 공간 위치를 결정하는 방법 및 시스템에 관한 것이다.
모션 비디오 이미지를 캡처하는 비디오 카메라들은 일반적으로 모니터링 및/또는 감시에서 사용된다. 통상적으로, 카메라들의 네트워크는 미리결정된 영역을 커버하기 위해 구성된다. 캡처된 비디오 데이터는 기록될 수 있고, 실시간으로 관측될 수 있으며, 자동적으로 분석될 수 있다.
감시 카메라들 및/또는 모니터링 카메라들을 감시된/모니터링된 영역을 나타내는 맵 상에 맵핑하는 것은 많은 애플리케이션들에서 매우 유용하다. 예를 들어, 상기 맵은 수리를 위해 특정 카메라들의 위치를 찾거나 또는 비디오 상에 캡처되는 특정 사고가 실제로 발생한 위치를 간단하게 찾기 위해 사용될 수 있다. 더욱이, 상기 맵 상의 카메라는, 상기 맵 내의 영역과 관련되는 비디오 스트림의 선택을 용이하게 하도록 상기 특정 카메라로부터 발생하는 비디오 스트림들과 짝을 이룰 수 있다. 상기 카메라의 위치 데이터는, 또한, 상기 비디오가 캡처되는 장소의 식별을 가능하게 하도록 상기 비디오에 기록될 수 있다.
이러한 타입의 맵핑은 물론, 모든 카메라들이 어디에 위치되는지를 사람이 체크함으로써 수동적으로 수행될 수 있고, 그리고 카메라들의 위치를 종이 맵 또는 디지털 맵에 입력할 수 있다. 상기 디지털 맵 내의 지리적인 위치 찾기는, 디스플레이 상에서 보여지는 맵에서의 위치를 간단하게 선택함으로써 또는 상기 카메라의 위치를 나타내는 좌표들을 입력함으로써 수행될 수 있다. 이러한 좌표들은, 상기 위치가 고유하게 식별되는 동안 어떤 지리적 좌표에서 주어질 수 있다.
카메라들의 위치들을 수동적으로 식별하는 것은, 노력이 많이 들고, 지루하며 그리고 오류를 범하기 쉽다. 이것은, 특히, 많은 카메라들을 포함하는 대규모 감시 및/또는 모니터링 시스템들에서 해당된다. 하지만, 그와 같은 시스템들에서 카메라들의 위치를 식별하는 방법이 이러한 문제점들을 해소하기 위해 개발되었다. 예를 들어, 위성 내비게이션 회로, 예를 들어, GPS, GLONASS, Galileo 등에 각각의 카메라가 제공되는 구현들이 존재하며, 그리고 상기 위치가 등록되고 맵 상에 표시되는 중앙 서버에 각 카메라의 좌표들을 전송한다. 상기 지리적 위치는 또한 또는 대안적으로, 때로는 지오-태깅(geo-tagging)으로 언급되는 비디오 스트림에 삽입될 수 있다.
카메라 네트워크 내의 카메라들의 지리적 위치의 수집을 용이하게 하는 다른 방법은, 국제 특허 출원 WO 2014/013015에서 서술된다. 이 특허 출원은 차량의 지리적 위치를 결정하는 것을 가능하게 하는 내비게이션 장비가 장착되는 차량을 서술한다. 또한, 상기 차량은, 선택적으로 인식가능한 구조, 예를 들어, 체커보드, 발광 장비, 구별할 수 있는 컬러 세크먼트들을 갖는 텍스처 및 시간에 따라 변하는 고유한 식별자를 전송하도록 구성되는 광 전송기를 실어 나른다. 이후, 상기 차량은 감시 구역 내의 거리들 상에서 운전 중이고, 상기 차량의 위치를 계속해서 등록한다. 상기 등록된 위치는 상기 광 전송기를 통해 전송된 식별자를 연속적으로 변경시키는 것과 관련되고, 모두 컴퓨터 시스템에 전송된다. 상기 감시되는 영역 내의 비디오 카메라들은 차량의 이미지들을 캡처하고, 상기 컴퓨터 시스템에 차량의 이미지들을 전송하며, 이러한 컴퓨터 시스템은, 고유한 식별자가 상기 차량을 포함하는 상기 이미지들에서 인식되고 상기 차량을 포함하는 각 픽처가 차량 내의 내비게이션 장치에 의해 등록되는 위치와 대응할 수 있는 시스템이다. 이후, 위치 및 방향에 관련된 카메라의 특성들은, 상기 카메라가 차량의 이미지들을 캡처할 때 상기 차량의 위치에 기초하고 그리고 상기 차량에 대한 이미지 내의 위치에 기초하여 계산될 수 있다.
이러한 시스템은, 감시 및/또는 모니터링 시스템 내의 카메라들의 지리적 위치의 식별, 수집 및/또는 등록을 용이하게 한다. 하지만, 상기 시스템은 여전히 복잡하고, 적절한 결과들을 산출하기 위해 상당히 고성능인 하드웨어와 후속 처리를 많이 요구한다.
본 발명의 목적은 카메라의 위치를 결정하는 것을 용이하게 하는 것이다.
이러한 목적은 제1항에 따른 방법 및 제10항에 따른 시스템에 의해 달성된다. 본 발명의 다른 실시예들은 종속 청구항들에서 표현된다.
특히, 적어도 하나의 실시예에 따라, 카메라의 위치를 결정하는 방법은, 모바일 디바이스의 지리적 좌표들을 상기 모바일 디바이스 자체에서 결정하고 등록하는 단계와; 상기 모바일 디바이스의 지리적 좌표들을 나타내는 패턴을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계와; 상기 지리적 좌표들을 나타낼 때 상기 모바일 디바이스의 디스플레이의 이미지를 상기 카메라에 의해 캡처하는 단계와; 상기 모바일 디바이스의 디스플레이의 상기 캡처된 이미지 내의 상기 패턴을 지리적 좌표들로 상기 카메라에서 변환하는 단계와; 그리고 상기 캡처된 이미지 내의 상기 패턴으로부터 변환된 상기 지리적 좌표들에 기초하여 상기 카메라의 위치를 상기 카메라에서 결정하는 단계를 포함한다. 상기 모바일 디바이스의 위치와 같은 공간 정보를 각각 제공하고 그리고 수신하기 위해, 상기 모바일 디바이스의 디스플레이 및 상기 카메라의 이미지 센서를 사용하는 한 가지 장점은, 카메라의 위치를 결정하는 프로세스가 사용자에게 간단할 것이라는 점이다. 더욱이, 상기 프로세스는 기존의 하드웨어를 사용하여 수행될 수 있고, 즉, 어떤 재설계도 필요하지 않고, 서로 다른 디바이스로부터의 데이터의 페어링으로 인한 문제점들을 동기화시키는 것을 피할 수 있다.
상기 방법은, 상기 모바일 디바이스의 디스플레이 상에 표시된 상기 패턴의 2개의 구별가능한 피처들 사이의 거리를 식별하는 값을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계를 더 포함할 수 있다. 이러한 것의 장점은, 이미지를 분석하는 디바이스, 예를 들어, 카메라에, 상기 디스플레이되는 패턴의 실제의 크기에 대한 지식이 제공될 수 있고, 따라서, 상기 카메라 및 상기 모바일 디바이스의 여러 특성들을 계산하는데 상기 패턴들 사용할 수 있다. 예를 들어, 상기 정보는 상기 카메라의 위치를 계산하는데 정확성을 증가시키기 위해 사용될 수 있다.
더욱이, 상기 방법은, 상기 모바일 디바이스가 향하는 지리적 방향을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계를 더 포함할 수 있다. 상기 모바일 디바이스의 방향을 제공함으로써, 상기 카메라의 시야 방향을 용이하게 결정할 수 있다.
상기 패턴은 2차원 코드일 수 있고 그리고 이러한 패턴은 상기 모바일 디바이스의 디스플레이 상에 패턴에 의해 표현되는 데이터를 나타낼 수 있다. 일부 실시예들에서, 상기 패턴은 QR-코드이다.
또한, 상기 카메라의 위치를 결정하는 단계는, 적어도 상기 캡처된 이미지에서 측정되는 상기 패턴의 물리적인 피처들, 상기 캡처된 이미지의 패턴에서의 2개의 구별가능한 피처들 사이의 거리를 식별하는 값, 그리고 상기 모바일 디바이스의 지리적 방향에 기초하여, 상기 모바일 디바이스에 의해 표시되는 상기 패턴으로부터 검색되는 위치를 조정함으로써 상기 카메라의 위치를 계산하는 단계를 포함할 수 있다. 이러한 단계들을 수행함으로써, 상기 카메라의 위치는, 일부 경우들에서, 가능한 다른 경우에서보다 더 높은 정밀도를 갖도록 결정될 수 있다.
일부 실시예들에서, 상기 카메라의 위치를 결정하는 단계는, 상기 모바일 디바이스에 의해 표시되는 위치로 상기 카메라의 위치를 결정하는 단계를 포함한다. 이러한 기법의 한가지 장점은, 시스템이 상기 모바일 디바이스에 의해 표시되는 코드로 정보를 해석하도록 주로 요구할 때 구현하기가 간단하다는 점이다. 따라서, 복잡한 계산들이 필요하지 않다.
또한, 상기 방법은, 카메라에 상기 카메라의 위치를 저장하는 단계를 더 포함할 수 있다. 대안으로, 상기 카메라의 위치는 카메라 관리 서버에 저장될 수 있다.
본 발명의 다른 양상에 따라, 카메라의 공간 특성들을 결정하는 시스템은 카메라 및 모바일 디바이스를 포함한다. 상기 모바일 디바이스는, 위치 결정 센서(positioning sensor), 상기 위치 결정 센서에 의해 검출되는 위치를 나타내는 패턴을 발생하도록 구성된 패턴 발생기(pattern generator), 및 시각적으로 상기 패턴을 표시하도록 구성된 디스플레이를 포함한다. 상기 카메라는, 장면의 이미지들을 캡처하는 이미지 센서, 상기 모바일 디바이스의 패턴 발생기에 의해 발생되고 그리고 상기 이미지 센서에 의해 캡처되는 상기 패턴 내의 정보를 해석하도록 구성된 패턴 해석기, 상기 패턴 해석기에 의한 상기 해석으로부터 상기 위치 정보를 추출하도록 구성된 위치 추출기, 및 상기 위치 추출기에 의해 추출된 상기 위치에 기초하여 상기 카메라의 위치를 설정하도록 구성된 카메라 위치 설정기를 포함한다. 상기 모바일 디바이스의 위치와 같은 공간 정보를 각각 제공하고 그리고 수신하기 위해, 상기 모바일 디바이스의 디스플레이 및 상기 카메라의 이미지 센서를 사용하는 한 가지 장점은, 카메라의 위치를 결정하는 프로세스가 사용자에게 간단할 것이라는 점이다. 더욱이, 상기 프로세스는 기존의 하드웨어를 사용하여 수행될 수 있고, 즉, 어떤 재설계도 필요하지 않고, 서로 다른 디바이스로부터의 데이터의 페어링으로 인한 문제점들을 동기화시키는 것을 피할 수 있다.
상기 시스템의 일부 실시예들에서, 상기 패턴 발생기는 패턴을 발생시키도록 구성되고, 상기 발생된 패턴은, 상기 모바일 디바이스의 디스플레이 상에 표시되는 상기 패턴의 2개의 구별가능한 피처들 사이의 거리를 식별하는 정보를 포함한다. 이러한 것의 장점은, 이미지를 분석하는 디바이스, 예를 들어, 카메라에, 상기 디스플레이되는 패턴의 실제의 크기에 대한 지식이 제공될 수 있고, 따라서, 상기 카메라 및 상기 모바일 디바이스의 여러 특성들을 계산하는데 상기 패턴들 사용할 수 있다. 예를 들어, 상기 정보는 상기 카메라의 위치를 계산하는데 정확성을 증가시키기 위해 사용될 수 있다.
상기 시스템의 모바일 디바이스는, 또한, 상기 모바일 디바이스가 향하는 방향을 검출하도록 구성되는 방위 센서를 더 포함할 수 있고, 그리고 상기 패턴 발생기는, 그와 같은 검출된 방향을 식별하는 정보를 포함하는 패턴을 발생시키도록 구성될 수 있다. 상기 모바일 디바이스의 방향을 제공함으로써, 상기 카메라의 시야 방향을 용이하게 결정할 수 있다. 상기 시스템의 모바일 디바이스는 스마트 폰 또는 태블릿 컴퓨터일 수 있다.
일부 실시예들에 따라, 상기 카메라 위치 설정기는, 상기 패턴의 이미지, 상기 패턴의 2개의 구별되는 피처들 사이의 거리의 정보, 상기 모바일 디바이스의 방향, 및 상기 모바일 디바이스의 위치에 기초하여 상기 카메라의 위치를 계산하도록 구성되는 위치 계산기를 포함한다. 그와 같은 위치 계산기의 장점은, 일부 경우들에서, 상기 카메라의 위치가 가능한 다른 경우에서보다 더 높은 정밀도를 갖도록 결정될 수 있다는 점이다.
일부 실시예들에 따라, 상기 카메라 위치 설정기는, 상기 모바일 디바이스에 의해 디스플레이되는 상기 패턴에 표시된 위치와 동일한 위치에 상기 카메라의 위치를 설정하도록 구성된다. 그와 같은 실시예들은, 주로 상기 모바일 디바이스에 의해 표시되는 코드 내의 정보를 상기 시스템이 해석하도록 요구할 때 구현하는 것이 단순할 수 있다. 따라서, 상기 위치를 계산하는데 복잡한 계산들이 필요하지 않다.
본 발명의 또 다른 범위의 적용가능성은, 아래에 주어진 상세한 설명으로부터 명확해질 것이다. 하지만, 본 발명의 바람직한 실시예들을 나타내는 동안, 상세한 설명 및 특정 예시들은, 단지 예로서 주어지는바, 이는 본 발명의 범위 내의 여러 변화들 및 수정들이 이러한 상세한 설명으로부터 통상의 기술자에게 명확할 것이기 때문이다. 따라서, 본 발명은, 서술된 디바이스의 특정 구성 부분들 또는 서술된 방법들의 단계들에 제한되지 않는데, 이는 그와 같은 디바이스 및 방법은 변할 수 있기 때문임을 알아야 한다. 여기에서 사용되는 용어는, 단지 특정 실시예들을 서술하는 목적인 것으로, 제한하도록 의도되지는 않음을 또한 알아야 한다. 상세한 설명 및 청구항들에서 사용되는 것처럼, 단수를 나타내는 단어("a", "an") 및상기("the", "said")는, 문맥을 명확하게 다르게 표현하지 않으면 하나 이상의 요소들이 존재함을 의미하도록 의도된다. 따라서, 예를 들어, "센서" 또는 "상기 센서"에 대해서, 이는 여러 센서들을 포함할 수 있다. 더욱이, 단어 "포함하는"은 다른 요소들 또는 단계들을 배제하지 않는다.
본 발명의 다른 피처들 및 장점들은 첨부된 도면들을 참조하여, 하기의 바람직한 실시예들의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따라 사용되는 카메라의 공간 특성들을 결정하는 시스템의 개략적인 이미지이다.
도 2는 본 발명의 일 실시예에서 사용될 수 있는 QR-코드를 디스플레이하고 QR-코드의 일부 피처들을 강조하는 모바일 디스플레이의 일 예이다.
도 3은 본 발명의 일 실시예에 따른 상기 모바일 디바이스에 의해 수행되는 프로세스를 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 상기 모니터링 카메라에 의해 수행되는 프로세스를 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 모바일 디바이스에 대한 개략적인 블록도이다.
도 6은 본 발명의 일 실시예에 따른 모니터링 카메라에 대한 개략적인 블록도이다.
또한, 도면들에서, 동일한 참조 번호들은, 여러 도면들에 걸쳐 동일하거나 또는 대응하는 부분들을 나타낸다.
본 발명은, 고정된 감시 및/또는 모니터링 카메라의 위치를 결정하는 프로세스들 및 시스템들에 관한 것이다. 상기 카메라는 움직이지 않는 고정된 것이다. 즉, 상기 카메라는 하나의 위치에서 다른 위치로 정기적으로 움직이지 않는다. 하지만, 상기 카메라는 PTZ 카메라, 즉, 팬(pan) 및 틸트(tilt)가 가능한 카메라일 수 있다.
일 실시예에 따라, 도 1을 참조하면, 디스플레이(12)를 갖는 모바일 디바이스(10)는, 적어도 모바일 디바이스(10)의 지리적 위치를 나타내는 정보를 포함하는 QR-코드를 생성하도록 동작된다. QR 코드들과는 다른 그래픽 코드들, 예를 들어, 어떤 2차원 그래픽 코드, 어떤 1차원 그래픽 코드, 일반 텍스트 등도 물론 사용될 수 있지만, 본 발명의 이해를 용이하게 하도록, 상기 QR 코드는 서술(description)의 나머지 부분을 통해 예들로서 사용될 것이다. 대안으로, 일시적 인코딩(temporal encoding), 예를 들어, 디스플레이 상의 하나의 위치 또는 복수의 위치들에서의 휘도에서의 변화를 사용하여 전달되는 정보가 사용될 수 있다. 하지만, 일시적 인코딩은, 상기 2차원 그래픽 코드들 중 일부에 관련된 모든 장점들을 보일 수는 없다. 모바일 디바이스는, 모바일 전화, 포터블 GPS, 태블릿 컴퓨터, 또는 디스플레이와 필요한 기능적인 컴포넌트들(실시예들 사이에서 다르고, 모두 아래에서 서술될 것이다)을 갖는 어떤 다른 디바이스일 수 있다. QR 코드는 모바일 디바이스(10)의 디스플레이(12) 상에서 디스플레이되고 그리고 모바일 디바이스(10)의 디스플레이는 모니터링 시스템 내의 모니터링 카메라(14)에 보여진다. 즉, 상기 모바일 디바이스의 디스플레이는, 상기 카메라가 모바일 디바이스 상에 표시되는 QR-코드의 이미지를 캡처하고 그리고 검출하도록 광학적인 입력, 예를 들어, 모니터링 카메라의 렌즈를 대면하도록 일시적으로 배열된다. 이후, QR-코드는 디코딩되고 그리고 상기 모니터링 카메라는 상기 코드에 주어진 위치 정보로 태킹된다. 즉, 상기 지리적 위치 정보는 카메라에 저장되고 그리고 상기 카메라의 위치로서 식별되거나, 또는 이러한 카메라의 위치로서 저장되는 중앙 서버에 저장된다.
도 2에서, 모바일 디바이스(10)의 디스플레이(12) 상에 표시되는 예가 도시되고, 상기 도면에서의 QR-코드(22)는 본 발명에 따라 정보를 전달하는 것이 아니라, 오히려 상기 QR-코드(22)가 모니터링 카메라(14) 및/또는 모니터링 시스템에 중계할 수 있는 일부 추가적인 파라미터들을 설명하기 위해 포함되는 예이다. 일 실시예에서, QR-코드(22)는, 위치에 추가로, QR-코드(22)의 디스플레이 특정 공간 정보를 포함할 수 있다. 이러한 디스플레이 특정 공간 정보는, 디스플레이(12) 상에 표시되는 QR-코드(22)의 실제 크기 또는 실제 길이에 관련될 수 있다. 예를 들어, 상기 디스플레이 특정 공간 정보는 QR-코드(22)의 2개의 코너들 사이의 거리(LQ)를 표시할 수 있고, QR-코드(22) 내의 위치 표시자(P)의 너비(WP) 또는 높이(HP)를 표시할 수 있다. 예를 들어, 이러한 디스플레이 특정 공간 정보는, 모니터링 카메라(14)와 모바일 디바이스(10) 사이의 거리를 계산하기 위해 상기 모니터링 카메라(14) 또는 시스템에 의해 사용될 수 있다. 이러한 계산된 거리는 이후 모바일 디바이스(10)의 지리적 위치를 조정하기 위해 사용될 수 있고, 모니터링 카메라(14)의 실제의 지리적 위치에 더욱 가깝게 대응하도록 모니터링 카메라에 수신된다. 디스플레이 특정 공간 정보는, 아래에서 논의될 훨씬 더 많은 조정들 및 계산들을 위해 사용될 수 있다.
또한, 상기 QR-코드는, 상기 모바일 디바이스(10)가 대면하는 수평선 방향에 관련한 정보를 포함할 수 있다. 상기 방향은 나침반에서 사용되는 북쪽(north)에 관련한 각도들로 주어지고, 그리고 이러한 수평 방향은 모바일 디바이스(10)에 포함되는 전자 나침반에 의해 발생될 수 있다. 상기 수평 방향은 모니터링 카메라(14)의 팬(pan) 각도 또는 방향으로 보여질 수 있다. 추가로, QR-코드(22)는, 상기 모바일 디바이스(10)가 접하는 수직 각도, 즉, 틸트 각도에 관련된 정보를 포함할 수 있다. 이러한 틸트 각도는 상기 모바일 디바이스(10) 내의 틸트 센서에 의해 발생될 수 있다.
상기 모바일 디바이스(10)에 의해 표시되는 상기 팬 및/또는 틸트 방향들은, 특히, 상기 모바일 디바이스(10)의 디스플레이가 실질적으로 상기 모니터링 카메라(14)의 광축에 수직인 면에 고정되면, 모니터링 카메라의 실제의 팬 및/또는 틸트 방향들의 근사치를 구하기 위해 추정될 수 있다. 만약 이것이 그러한 경우라면, 이후, 모바일 디바이스(10)의 후면이 모니터링 카메라(14)와 동일한 방향으로 향하도록 배열된다. 사용자가 상기 디스플레이에 실질적으로 수직인 모바일 디바이스(10)의 디스플레이(12)를 유지하는 것을 용이하게 하도록, 모니터링 카메라(14)는 모바일 디바이스(10)의 디스플레이(12) 상의 패턴을 검출할 수 있고 그리고 상기 디스플레이(12) 상에 표시되는 패턴 내의 직선들이 실질적으로 직선들로 캡처되는지 또는 상기 디스플레이(12) 상에 표시되는 동일한 크기를 갖는 그래픽 피처들이 실제로 동일한 크기의 피처들로 캡처되는지 체크할 수 있다. 모바일 디바이스(10)의 디스플레이(12)가 실질적으로 광학 축에 수직임을 상기 모니터링 카메라(14)가 식별할 때, 상기 모니터링 카메라(14)는 신호음을 발생하거나 또는 광원에서 방출하는 광을 방사한다. QR-코드(22) 또는 사용되는 어떤 다른 코드는, 이러한 타입의 참조 패턴으로 사용될 수 있다. 또한, QR-코드(22)의 패턴이 정확하게 정렬(line up)될 때, 모니터링 카메라(14)가 진짜 방향(true direction)을 캡처할 수 있도록 모바일 디바이스(10)의 방향들을 변경시키기 위해 상기 QR-코드(22)는 자주 변경될 수 있다.
대안으로, 상기 모니터링 카메라(14)는 상기 QR-코드(22)를 나타내는 패턴을 캡처하고 이후 상기 광학축과 QR-코드(22)에서 주어지는 방향들 사이의 편차들을 계산한다. 상기 계산은, 상기 모니터링 카메라(14)에 의해 캡처되는 상기 패턴의 각각의 왜곡들에 기초할 수 있다. 그와 같은 계산들의 예들은 아래에서 표현될 것이다.
다른 실시예에서, 상기 QR-코드는 롤(roll)의 각도를 포함할 수 있다. 본 발명의 서술에서, 바닥 또는 상부 디스플레이 에지를 수평면, 즉, 현실 세계의 수평면으로 가져오도록 디스플레이(12)에 수직인 축에 대해 모바일 디바이스(10)가 회전될 수 있는 각도로, 롤의 각도가 해석되어야 한다. 모니터링 카메라(14)에 대해, 캡처되는 이미지의 바닥 또는 상부 에지를 수평면, 즉, 현실 세계의 수평면으로 가져오도록 광학축에 대해 모니터링 카메라(14)가 회전될 수 있는 각도로, 상기 롤의 각도가 정의된다. 모바일 디바이스(10)의 롤의 각도는 자이로(gyro)와 조합하는 일부 실시예들에서, 가속도계에 의해 검출될 수 있고 그리고 디스플레이(12) 상의 QR-코드(22)에서 표현될 수 있다. 이러한 정보는 이후 롤의 각도를 계산하기 위해 모니터링 카메라(14)에 의해 사용될 수 있다.
더욱이, 일 실시예에서, QR-코드(22)는, 위치 데이터 및 가능한 다른 적용가능한 데이터를 모니터링 카메라(14) 및 모니터링 시스템에 제공하도록 인증된 모바일 디바이스(10)로서 상기 모바일 디바이스(10)를 입증하는 암호화 코드를 포함한다. 상기 암호화 코드는, 공개 키 암호화, 대칭 키 암호화 또는 어떤 다른 카테고리의 암호화를 사용하여 구현될 수 있다. 다양한 카테고리들의 암호화에서 다수의 잘 알려진 구현들이 존재한다.
QR-코드(22)를 통한 위치 데이터 및 가능한 다른 데이터의 전송의 시작은, 모니터링 카메라(14)가 자주 QR-코드(22) 검출 프로세스를 실행하게 함으로써 달성된다. 이러한 방식으로, 상기 모니터링 카메라(14)는 항상 QR-코드(22)를 통해 좌표들 및 다른 데이터를 수신하도록 준비된다. 하나의 결점은, 식별할 어떤 QR-코드(22)도 존재하지 않을 때, 시스템 자원들이 오랜 기간 동안 낭비될 수 있다는 점이다. 이러한 이유로, 이러한 방법은, QR-코드들이 다른 목적들에서도 잘 사용되고 그리고 QR-코드 검출 프로세스들을 실행하는 시스템 자원들의 사용이 자주 적용가능한 그와 같은 높은 주파수에서 이러한 다른 목적들에 대한 QR-코드들의 사용이 수행되는 시스템에서 사용하는 것이 가능하다. QR-코드들을 검출하는 프로세스들을 실행하는 빈도는 애플리케이션에 매우 의존한다. 하지만, 검출을 위해 사람에게 30초 이상을 기다리도록 요구하지 않아야 한다. 모니터링 카메라(14)가 모니터링 카메라(14) 상의 QR-코드의 일부 표시자를 검출했을 때, 소리 또는 빛은, 상기 모바일 디바이스(10)를 제어하는 사람에게, QR-코드(22)가 검출되었고 QR-코드의 처리가 시작 또는 완료되었음을 알려야 한다.
대안으로, QR-코드 검출 기간은, 상기 모니터링 네트워크를 제어하기 위해 인증된 디바이스로부터 상기 네트워크를 통한 신호에 의해 개시된다. 상기 시스템은, 모니터링 시스템의 모니터링 카메라들(14)의 전부 또는 일부가 상기 기간 동안 미리결정된 간격들에서 QR-검출 프로세스를 실행하도록 구성될 수 있다. 바람직하게, 상기 모바일 디바이스를 모니터링 카메라(14)에 디스플레이하는 사람이, 상기 코드가 검출되기 전 어떤 성가신 지연(annoying latency)을 알아채지 못할 때 상기 프로세스는 종종 실행되어야 한다. 상기 검출 프로세스가 자주 실행되는 동안, 상기 QR-코드 검출 기간은, 모니터링 시스템의 확장에 따라 특정 기간, 예를 들어, 1시간 또는 30분으로 설정될 수 있다. 대안으로, QR-코드 검출 기간은, 상기 모니터링 네트워크를 제어하기 위해 인증되는 동일한 디바이스로부터 또는 또한 인증되는 다른 디바이스로부터 신호를 송신함으로써 수동으로 종료될 수 있다.
상기 실시예들 중 일부에 따른 상기 모니터링 카메라(14)에 제공되는 정보는, 상기 모니터링 카메라(14)에 의해 또는 여러 가지 용도들을 위한 모니터링 시스템에 의해 사용될 수 있다. 예를 들어, 위치 및 방향 정보는, 지도 또는 빌딩 계획 상에 모니터링 카메라들(14)을 정확하게 위치시키기 위해 사용될 수 있다. 이러한 위치 설정은, 정확한 위치로 상기 모니터링 카메라(14)를 당기기 위해 사용될 수 있다. 상기 팬 방향은 모니터링 카메라(14)에 의해 모니터링되는 영역의 표시를 당기기 위해 사용될 수 있다; 이 영역의 계산은 상기 카메라에 의해 초점 거리를 고려하여 개선될 수 있다.
상기 모니터링 카메라(14)의 롤의 각도 및 상기 모니터링 카메라(14)의 틸트 각도는, 기울어진 수평선들 및 원근 왜곡(perspective distortion)들을 제거하기 위해 캡처된 이미지를 전자적으로 조정하기 위해 사용될 수 있다.
더욱이, 모니터링 카메라(14)의 위치 및 팬 방향은, 모니터링 카메라들(14) 사이의 추적된 객체들의 핸드오버(handover)를 용이하게 하도록 또는 모니터링되지 않는 영역들을 식별하도록 상기 모니터링 시스템에서 사용될 수 있다.
본 발명의 일 실시예에 따라, 모니터링 영역(14)의 위치를 결정하는 프로세스는, 사람 또는 차량을 포함할 수 있고, 이러한 차량에는 모바일 디바이스(10) 또는 상기 모니터링 카메라(14)로 향하는 모바일 디바이스(10)의 디스플레이(12)가 장착된다. 상기 모바일 디바이스(10)가 모니터링 카메라(14)에 의해 캡처되는 디스플레이를 갖도록 위치될 때, 상기 프로세스는 모니터링 카메라(14)의 위치를 결정하는 예를 각각 나타내는 도 3 및 도 4를 참조하여 아래에서 서술된다. 이제 도 3을 참조하면, 모바일 디바이스(10)는 위치 센서로부터 지리적 좌표들을 판독한다(S302). 지리적 좌표들의 이러한 판독은, 상기 모바일 디바이스(10)가 스위치 온되었기 때문에 연속적으로 모바일 디바이스(10)에 의해 수행될 수 있고, 디바이스(10)의 사용자에 응답하여, 상기 프로세스를 포함하는 애플리케이션을 시작할 수 있으며, 그리고 모니터링 카메라(14)의 위치를 결정하는데 사용되는 모바일 디바이스(10)에 관련되어 시작될 수 있다. 모든 실시예들에 대해 그와 같은 경우는 아니지만, 가능하면, 상기 모바일 디바이스(10)의 디스플레이(12) 또는 후면이 향하는 방향이 방위 센서(directional sensor)로부터 판독되고(S304), 틸트 방향이 틸트 센서로부터 판독되고(S306), 롤 방향은 롤 센서로부터 판독된다(S308). 틸트 방향 및 롤 방향에 대해 사용되는 데이터는 동일한 센서로부터 판독될 수 있다. 이후, 상기 센서들로부터 판독되는 상기 데이터 중 적어도 하나의 포스트를 포함하는 메시지가 모바일 디바이스(10)에서 발생된다(S310). 모바일 디바이스(10)에서 저장되는 미리결정된 인증 코드 또는 사용자에 의해 키잉(keying)되는 인증 코드는 또한 메시지에 포함된다. 추가로, 도 2에 관련하여 논의된 것처럼, 디스플레이 특정 공간 정보는, 또한, 상기 메시지에 포함될 수 있다. 상기 메시지가 발생되었을때, QR-코드(22)에 인코딩되고(S312), 이후, 모바일 디바이스(10)의 디스플레이(12) 상에 디스플레이된다(S314). 이러한 프로세스는 이후, 가능한 업데이트된 센서 데이터를 포함하는 새로운 QR-코드(22)를 디스플레이하도록 새로운 센서 데이터를 판독하기 위해 S302로 되돌아간다.
이제 도 4를 참조하면, 상기 모니터링 카메라(14)는, 모니터링 카메라의 동작의 일부로서 미리결정된 속도로 이미지들을 연속적으로 캡처하고 있다(S402). 현재 캡처된 이미지는 이후 QR-코드에 대해 체크된다(S404). 어떤 QR-코드도 발견되지 않으면(S406), 이후, 프로세스는 S404로 되돌아가고, 그리고 후속으로 캡처된 이미지가 QR-코드(22)에 대해 체크될 것이다. 이것은, QR-코드가 캡처된 이미지에서 발견될 때까지 반복된다. 각각의 연속적으로 캡처되는 이미지는 QR-코드(22)에 대해 반드시 체크되지 않는다. QR-코드(22)가 발견될 때, QR-코드(22)가 발견될 때, 상기 QR-코드(22)는 상기 모니터링 카메라(14)에 의해 프로세스될 수 있는 형태로 변환 또는 디코딩된다(S408). 발생된 메시지는 이후 유효한 인증 코드에 대해 체크된다(S410). 유효한 인증 코드가 발견되지 않으면(S412), 이후 상기 프로세스는 QR-코드(22)에 대한 새로운 이미지를 체크하는 S404로 되돌아간다. 하지만, 상기 인증 코드가 유효하면, 이후, 상기 메시지는 인증된 센서 데이터를 포함하고 그리고 이 센서 데이터가 추출된다(S414). 상기 추출된 센서 데이터 포스트는 이후, 있는 그대로 또는 상기 QR-코드(22)에 포함되는 디스플레이 특정 공간과 결합하여 상기 QR-코드(22)의 캡처된 이미지의 분석으로부터 발생한 데이터와 상기 센서 데이터와 결합함으로써 추가적인 개선을 위해, 모니터링 카메라(14)에 저장된다. 이후, 상기 프로세스는, 상기 모니터링 카메라(14)가 일반적인 위치 정보, 예를 들어, 지리적 좌표들, 수평 방향, 수직 방향 및/또는 롤 방향을 저장하는 것에서 종료된다.
독창적인 프로세스를 수행하는 것이 가능한 모바일 디바이스(10)의 일 실시예는 지금 도 5를 참조하여 서술될 것이다. 상기 모바일 디바이스는, 디스플레이(12), 모바일 디바이스(10)의 기능들을 정의하는 코드를 실행하도록 구성되는 프로세싱 유닛(102), 휘발성 메모리(104), 비-휘발성 메모리(106), 상기 디스플레이(12) 상의 모바일 디바이스(10)의 정보를 표시하기 위해 상기 디스플레이(12)와 모바일 디바이스(10)의 나머지 부분을 인터페이스하는 디스플레이 드라이버(108), 상기 모바일 디바이스에 데이터를 수동 입력하는 입력 수단(110), 일부 지리적 위치 서비스를 액세스함으로써 상기 모바일 디바이스의 지리적 위치를 획득하는 GPS-수신기(112), 상기 모바일 디바이스(10)가 향하는 방향을 제공하는 나침반(114), 및 단일 센서일 수 있지만 대안으로 2개의 개별적인 센서들일 수 있는 틸트 및 롤 센서(116)를 포함한다. 또한, 본 실시예에 따른 모바일 디바이스(10)는, 프로세싱 유닛(102)에 의해 실행되는 프로그램 모듈로서 구현되는 QR-코드 발생기(118) 및 프로세싱 유닛(102)에 의해 실행되는 프로그램 모듈로서 또한 구현되는 메시지 발생기(120)를 포함한다.
틸트 및 롤 센서(116)는, 적어도 이러한 각도들 또는 방향들을 검출하기 위해 구성되는 복수의 가속도계들을 포함하는 모듈일 수 있다. 하지만, 상기 틸트 및 롤 센서(116)는 또한, 2개의 틸트 센서들, 예를 들어, 전면에서 후면으로 틸팅하는 센서, 즉, 틸트 및 측면에서 측면으로 틸팅하는 센서, 즉, 롤이 될 수 있다.
독창적인 프로세스를 수행하는 것이 가능한 모니터링 카메라(14)의 하나의 실시예는 지금 도 6을 참조하여 서술될 것이다. 상기 모니터링 카메라(14)는 어떤 일상적인 카메라 및/또는 감시 카메라일 수 있다. 본 발명은 미리 결정된 영역을 모니터링하거나 조사하는 고정식 카메라들에 유리하게 적용된다. 그 결과, 상기 모니터링 카메라는, 일반적인 모니터링 카메라의 피처들, 예를 들어, 렌즈(202), 이미지 센서(210), 이미지 프로세서(206), 중앙 처리 유닛(208), 휘발성 메모리(210) 및 비-휘발성 메모리(212)를 포함한다. 추가적으로, 상기 모니터링 카메라(14)는 네트워킹된 모니터링 카메라일 수 있고 그리고 그와 같은 경우에, 상기 모니터링 카메라(14)는 물리적이고 지역적인 네트워크 인터페이스(214)를 포함한다. 더욱이, 본 발명의 일 실시예의 모니터링 카메라(14)는, QR-코드 디코더(216), 위치 설정 모듈(218), 글로벌 팬 방향 설정 모듈(220), 및 글로벌 틸트 및 롤 설정 모듈(222)을 포함한다.
상기 QR-코드 디코더(216)는, QR-코드를 나타내는 그래픽들을 처리하고 그리고 모바일 디바이스(10)에서 상기 QR-코드로 인코딩되는 메시지를 재생성하도록 구성되며, 이러한 프로세싱은 통상의 기술자에게 알려진 알고리즘들에 의해 수행된다. 다른 그래픽 표현이 사용되는 어플리케이션들에서, 상기 디코더에 이러한 그래픽 표현들이 대신 적용된다. 예를 들어, 상기 코드가 상기 모바일 디바이스의 디스플레이상에 표시되는 일반 텍스트이면, 이때 OCR(Optical Character Recognition) 기반 디코더가 대신 구현되고, 그리고 상기 코드가 바코드이면, 바코드 디코더가 대신 구현된다.
위치 설정 모듈(218)은, 후속 사용을 위해 그리고/또는 중앙 서버로의 전송을 위해 상기 모니터링 카메라(14)에 상기 위치를 저장하도록 구성된다. 이러한 경우에서, 상기 모니터링 카메라(14)는, 상기 QR-코드(22)에 포함되는 상기 디스플레이 특정 공간 정보로부터 계산된 추가적인 데이터 및 상기 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써 상기 위치의 정확성을 증가시키고, 이러한 정확성이 증가된 계산들은 또한 상기 위치 모듈(218)에서 수행될 수 있다.
상기 글로벌 팬 방향 설정 모듈(220)은, 후속 사용을 위해 그리고/또는 중앙 서버로의 전송을 위해 상기 모니터링 카메라(14)에 상기 모니터링 카메라(14)의 시야 방향(viewing direction)을 나타내는 나침반 방향을 저장하도록 구성된다. 이러한 경우에서, 상기 모니터링 카메라(14)는, 상기 QR-코드(22)에 포함되는 상기 디스플레이 특정 공간 정보로부터 계산된 추가적인 데이터 및 상기 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써 상기 팬 방향의 정확성을 증가시키고, 이러한 정확성이 증가된 계산들은 또한 상기 글로벌 팬 방향 설정 모듈(220)에서 수행될 수 있다.
상기 글로벌 틸트 및 롤 설정 모듈(222)은, 후속 사용을 위해 그리고/또는 중앙 서버로의 전송을 위해, 상기 모니터링 카메라(14)에 상기 카메라의 틸트를 나타내는 값 및 상기 모니터링 카메라(14)의 롤을 나타내는 값을 저장하도록 구성된다. 상기 모니터링 카메라(14)는, 상기 QR-코드(22)에 포함되는 상기 디스플레이 특정 공간 정보로부터 계산된 추가적인 데이터 및 상기 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써 상기 롤 및/또는 틸트의 정확성을 증가시키고, 이러한 정확성이 증가된 계산들은 또한 상기 글로벌 틸트 및 롤 설정 모듈(222)에서 수행될 수 있다.
상기 모니터링 카메라는 또한, 초점 거리 검출기(224)를 포함할 수 있고, 이러한 초점 거리 검출기(224)는 모니터링 카메라(14)의 광학 시스템(202)의 현재 초점 거리에 관련된 데이터를 제공하도록 구성된다. 상기 초점 거리 검출기(224)는, 스텝 모터 또는 상기 카메라의 줌 기능을 제어하는 어떤 다른 제어 시스템으로부터의 위치 신호로 구현될 수 있거나, 또는 캡처된 이미지 데이터를 분석하는 모니터링 카메라의 프로세싱 유닛 상에서 실시하는 이미지 분석 방법의 일 구현이 될 수 있다. 더욱이, 상기 초점 거리를 변경하는 것이 불가능한 시스템들에서, 상기 초점 거리 값은 계산들에서 사용하기 위해 상기 모니터링 카메라에 저장될 수 있다.
QR-코드가 캡처된 이미지에 존재하는지 여부의 검출은 이미지 프로세서(206)에서 수행될 수 있다. 이전의 흐름도들에서 서술된 프로세스들 및 모바일 디바이스(10) 또는 모니터링 카메라(14)의 다른 기능들은, 개별 디바이스의 프로세싱 유닛들, 예를 들어, 모바일 디바이스(14)의 프로세싱 유닛(102) 및 모니터링 카메라(14)의 중앙 처리 유닛(208)에서 실행되는 프로그램 코드로서 구현될 수 있거나, 기능들의 이러한 프로세스들은 로직 회로를 사용하여 구현될 수 있다.
일 실시예에 따라, 상기 모니터링 카메라(14)는 중앙 서버(20)를 포함하는 네트워크에 접속되고, 상기에서 서술된 어떤 요구된 위치 및 방향 데이터가 추가 사용 또는 처리를 위해 상기 중앙 서버(20)에 전송될 수 있다. 그와 같이 네트워킹된 시스템은 본 발명을 구현하는 추가적인 모니터링 카메라들(16)을 포함할 수 있다. 상기 카메라의 위치 및 방향에 관련된 데이터는, 계획상 정확한 위치로 상기 특정 모니터링 카메라의 표시를 끌어당기고, 그리고 장착되는 방향으로 상기 카메라 및 상기 카메라의 표시를 향하게 하도록 사용될 수 있다.
상기 언급된 것처럼, 상기 카메라의 위치 및 방향의 더 정확한 결정들은, 상기 QR 코드 또는 상기 모바일 디바이스 상에 디스플레이되는 다른 패턴의 위치 및 방향에 기초하여 계산될 수 있다. 예를 들어, 현실 세계의 3D 좌표들과 카메라의 3D 좌표들 사이들의 관계를 나타내는 호모그래피(homography)가 사용될 수 있다.
상기 모바일 디바이스의 지리적 좌표들이 결정되고 상기 QR 코드를 캡처함으로써 이용가능하면, 그리고 상기 QR 코드의 크기 및 형태에 관한 정보가 또한 상기 QR 코드에서 포함되면, 상기 모바일 디바이스 및 상기 카메라의 위치와 방향 사이의 관계는 결정될 수 있다. 그 결과, 상기 카메라의 위치는, 상기 카메라와 상기 모바일 디바이스 사이의 위치 및 방향에서의 차이들을 결정하기 위해 그 자체로 알려진 카메라 교정 절차의 원리들을 사용함으로써 또는 상기 모바일 디바이스의 위치 및 방향으로부터 상기 카메라의 위치 및 방향을 결정하기 위해 이러한 차이점들을 사용함으로써 더 정확하게 결정될 수 있다.
QR 코드의 크기 및 형태에 관한 정보를 고려할 때, QR 코드의 점들의 위치들(예를 들어, 코너들 또는 위치 표시자들)은 QR 코드 자체의 좌표 시스템들에서 알려져 있다. 상기 QR 코드의 이미지 내의 포인트들과 상기 모바일 디바이스 상에 디스플레이되는 상기 QR 코드 내의 대응하는 포인트들을 매칭함으로써, 좌표 쌍들이 획득된다. 그와 같은 쌍의 좌표들 사이의 관계는 다음의 수학식으로 표현될 수 있다:
Figure pat00001
여기서,
Figure pat00002
는 상기 이미지에서 2D 좌표들을 나타내고,
Figure pat00003
는 현실 세계에서의 3D 좌표들을 나타낸다.
현실 세계의 포인트들, 예를 들어, 디스플레이되는 QR 코드에서의 포인트들 및 이미지 포인트들, 예를 들어, 상기 카메라에 의해 캡처되는 QR 코드에서의 포인트들은, 동차 벡터(homogeneous vector)들에 의해 표현될 수 있다. 도 7을 참조하면, 상기 동차 벡터의 중심 투영은 선형 변환(linear transformation)이고, 이러한 선형 변환은 다음의 수학식으로 표현될 수 있다:
Figure pat00004
여기서, f는 상기 카메라의 초점 거리이고,
Figure pat00005
는 상기 이미지에서의 포인트의 3D 좌표들, 그리고
Figure pat00006
는 장면에서의 대응하는 포인트의 3D 좌표들을 나타낸다.
Figure pat00007
여기서 표시된 상기 계산식들은, 현재의 초점 거리에 대한 이전의 지식없이 수행될 수 있지만, 초점 거리가 이미 알려져 있으면 상기 계산들은 더 빨라질 것이다. 현재의 초점 거리를 획득하는 방법들의 일부 예들은, 이러한 서술에서 이후에 제공될 것이다.
변환은,
Figure pat00008
으로 언급되는 이미지 중심, 그리고 kx 및 ky로 언급되는 길이들로부터 픽셀들로 스케일링하는 스케일링 펙터들을 사용하여 길이들로부터 픽셀들로 행해질 수 있다. 다음의 2개의 수학식들에서, xpix 및 ypix는, 픽셀들에서 측정된 좌표들을 나타낸다.
Figure pat00009
Figure pat00010
길이들에 관련하여 상기에서 표현되는 수학식들에 유사하게, 다음과 같은 수학식들은 픽셀들로 표현되어 사용될 수 있다.
Figure pat00011
여기서,
Figure pat00012
이는 픽셀들에서 주어진 초점 거리로서 고려될 수 있다.
상기 픽셀 좌표들은 다음과 같이 표현될 수 있다:
Figure pat00013
스큐 파라미터 S를 추가하여, 재구성은 다음과 같이 행해질 수 있다.
Figure pat00014
상기 3 x 3 위 삼각 행렬 K는 보정 행렬로 언급된다. 행렬 K 내의 파라미터들은 상기 카메라의 고유 파라미터들이고 상기 변환 동작들에서 중요한 입력이다.
도 8 및 도 9에 관련하여, 이미지 좌표 시스템에서의 장면 포인트들
Figure pat00015
과 현실 세계 좌표 시스템에서의 장면 포인트들
Figure pat00016
사이의 관계는, 상기 이미지 좌표 시스템의 시작점으로부터 상기 현실 세계 시스템의 시작점으로의 변환 벡터 CO =T를 상기 현실 세계 좌표 시스템에서의 포인트 M을 서술하는 벡터에 부가함으로써 획득될 수 있다.
Figure pat00017
동차 좌표들을 사용하여, 이것은 다음과 같이 기록될 수 있다.
Figure pat00018
이것은 대안으로 다음의 수학식처럼 표현될 수 있다.
Figure pat00019
Figure pat00020
는 세계 좌표들로 표현되는 벡터 OC이다. T 대신
Figure pat00021
를 사용하여, 다음의 수학식이 설정될 수 있다.
Figure pat00022
상기 카메라 투영 행렬 및 상기 좌표 변환 행렬은 하나의 행렬 P로 결합될 수 있다.
Figure pat00023
이는 다음과 같이 단순화될 수 있다.
Figure pat00024
이러한 행렬 P은 11 자유도(degree of freedom)를 갖고, 그 중 5 자유도는 상기 삼각 보정 행렬 K에서이고, 3 자유도는 R에서이고, 나머지 3 자유도는
Figure pat00025
에서이다. P는 3x4 행렬이고, 좌측의 3x3 부분 행렬 KR는 비특이(non-singular) 행렬임을 알 수 있다. P는, 장면 내의 포인트들 및 이미지 내의 대응하는 포인트들을 사용하여 추정될 수 있다. 보정 행렬 K가 이미 알려져 있으면, 이러한 추정은 상당히 간소화된다. 하지만, 상기 보정 행렬이 아직 알려지지 않았을지라도, 상당한 수의 포인트들의 쌍들을 사용하여, P는 추정될 수 있다.
카메라 이동을 결정하기 위해, 장면에서의 C의 동차 좌표계들이 발견되어야 한다. C는 상기 행렬 P의 널 벡터(null vector)이다. 따라서,
Figure pat00026
P의 널 벡터 C는 특이 값 분해(singular value decomposition)를 사용하여 발견될 수 있다.
또한, 상기 카메라 방향 및 고유 파라미터들이 발견될 수 있다. 여기에서, P의 좌측 3x3 부분행렬 M은 M= KR의 형태임을 알 수 있다. K는 위 삼각 행렬이고, 그리고 R은 직교 행렬이다. 비특이 행렬 M은 QR 인수분해를 사용하여 K와 R의 곱으로 분해될 수 있다. 이미 알려진 것처럼, 보정 백터 K가 이미 알려져 있으면, 즉, 상기 카메라가 보정되면, 이러한 계산들은 간단해진다.
상기 행렬 P은, 세계 좌표 시스템 내의 3D 포인트들 X i 및 상기 이미지 내의 X i 의 대응하는 이미지들 x i 를 얻고, 모든 i에 대해 x i = PX i 를 기록함으로써 계산될 수 있다. 이러한 벡터 P는 이후, 상기 P 벡터로부터 계산된 파라미터들에 의해 조정되는 상기 모바일 디바이스 상에 디스플레이된 상기 QR 코드에서 언급된 것처럼 상기 모바일 디바이스의 위치에 기초하여 상기 카메라의 위치 및 방향을 계산하기 위해 사용될 수 있다. 현실 세계 좌표들, 즉, 상기 카메라에 의해 캡처되는 이미지 평면 밖의 3차원 세계에 관련된 좌표들 내의 QR-코드와 관련된 상기 카메라의 위치는, 행렬 C에 제공되고 그리고 상기 현실 세계 좌표 시스템에 관련된 상기 카메라의 방향, 즉, 이러한 축들에 관한 상기 카메라의 방향은 행렬 R에 제공된다.
그와 같은 계산들은, 이용가능한 소프트웨어 코드, 예를 들어, OpneCV 또는 매트랩에 대한 카메라 보정 툴박스를 사용하여 수행될 수 있다.
상기 시스템, 즉, 상기 렌즈의 초점 거리는, 상기의 P 행렬로부터 추출될 수 있다. 하지만, 계산의 속도를 빠르게 하고 그리고 상기 행렬들을 해결하는데 더 적은 처리 전력을 요구하도록, 상기 초점 거리는 이전에 제공될 수 있다. 이와 같은 경우들에서, 상기 초점 거리는, 예를 들어, 고정된 초점 거리 렌즈를 갖는 시스템에서, 프리셋될 수 있거나 또는 안에 타이핑될 수 있다. 대안으로, 상기 모니터링 카메라는 자동 초점 거리 결정 방법을 사용할 수 있다. 사용되는 렌즈의 초점 거리를 식별하도록 설계된 많은 방법들이 존재한다. 그와 같은 방법의 일 예는, 도 10을 참조하면, 아래의 수학식에 표현되는 근사치를 사용한다.
Figure pat00027
이 방정식에서, h1은 높이 H, 예를 들어, 도 2의 그래픽 코드의 거리 LQ 또는 전체 모바일 디바이스의 높이를 갖는 객체의 캡처된 높이이다. L1은 상기 카메라로부터 상기 객체의 거리이고 그리고 f는 사용되고 있는 상기 렌즈의 초점 거리이다. 상기 이미지 센서 상에서 캡처되는 상기 객체의 높이 h1이 상기 카메라로부터의 제1 거리 L1에서 카메라에 의해 결정되고, 이후 상기 이미지 센서 상에서 캡처되는 상기 객체의 높이 h2가 제2 거리 L2에서 상기 카메라에 의해 결정되면, 상기 초점 거리 f는 계산될 수 있으며, 이에 관련하여 도 11를 참조해라.
Figure pat00028
이를 달성하기 위해, 상기 객체의 이미지들의 2개의 캡처들 사이에서 움직이는 거리는, 아래의 d를 참조하여 측정되거나 또는 추정된다.
Figure pat00029
상기 객체의 실제 높이는, 동일한 독립적인 위치들로서, 이는 다음의 식을 발생시킨다.
Figure pat00030
Figure pat00031
그때,
이는 아래의 초점 거리의 방정식을 발생시킨다.
Figure pat00032
그 결과, 2개의 서로 다른 캡처 순간들에서 상기 그래픽 코드 사이의 미리결정된 거리에서 상기 그래픽 코드의 2개의 이미지들을 캡처함으로써, 상기 카메라는 상기 초점 거리를 계산할 수 있다.
다른 실시예들에서, 상기 모니터링 카메라(14)의 위치는, 상기 모니터링 카메라(14)와 접하게 상기 모바일 디바이스를 유지시킴으로써 결정될 수 있다. 상기 모바일 디바이스(10)가 상기 모니터링 카메라(14)와 실질적으로 동일한 지리적 위치에 위치하도록 상기 모바일 디바이스(10)는 렌즈 앞에 놓여질 수 있고 그리고 상기 모바일 디바이스(10)의 뒷면 또는 앞면이 상기 모니터링 카메라(14)의 렌즈의 외부 림(outer rim)과 동일한 평면을 이루게 되면, 상기 모바일 디바이스(10)의 방향과 상기 모니터링 카메라의 방향은 실질적으로 대응한다. 더욱이, 모니터링 카메라(14)의 롤의 각도가 상기 모바일 디바이스(10)의 롤의 각도와 실질적으로 대응하도록, 상기 모바일 디바이스의 실질적으로 직선인 에지가 상기 모니터링 카메라의 실질적으로 직선인 피처와 시각적으로 정렬할 때까지, 상기 모바일 디바이스(10)를 잡고 있는 사용자는 상기 모바일 디바이스(10)의 롤의 각도를 변경시킬 수 있다. 예를 들어, 상기 사용자는, 상기 모니터링 카메라(14)의 상부 에지 또는 표면과 평행하게 상기 모바일 디바이스의 상부 에지를 유지할 목적을 갖는다. 상기 모바일 디바이스(10)가 상기에서 서술된 것처럼 제자리에 유지될 때, 상기 사용자는, 상기 모바일 디바이스(10)에 의해 검출되는 롤의 지리적 위치, 방향 및 각도 중 어떤 하나 또는 어떤 조합을 적어도 일시적으로 저장하는 프로세스를 시작한다. 이러한 저장 프로세스는, 사용자가 상기 모바일 디바이스(10) 상의 버튼을 누름으로써 또는 어떤 다른 가능한 시작 행위를 함으로써 시작될 수 있다. 상기 모바일 디바이스(10)는, 상기에서 서술된 것처럼, 상기 모바일 디바이스의 디스플레이(12) 상에서 디스플레이하기 위해 그래픽 코드(22)를 발생시킨다. 상기 그래픽 코드(22)는, 상기 저장된 데이터, 예를 들어, 롤의 지리적 위치, 방향 및/또는 각도 중 적어도 일부분을 포함한다. 본 명세서의 앞에서 서술된 것처럼, 상기 그래픽 코드는 QR-코드일 수 있다. 상기 모바일 디바이스(10)는 상기 모니터링 카메라(14)의 렌즈로부터 일정거리 이동되며, 상기 모바일 디바이스(10)의 디스플레이는 상기 모니터링 카메라(14) 자체에 의해 캡처될 수 있다. 이후, 상기 모니터링 카메라는 상기 그래픽 코드를 디코딩할 수 있고 그리고 피처들이 그래픽 코드에 인코딩되는 것에 따라, 롤의 지리적 위치, 롤의 시야 방향 및/또는 롤의 각도를 결정할 수 있다.
롤의 각도는 이러한 구성에서 동적일 수 있다. 즉, 롤의 각도는, 상기 모바일 디바이스(10)가 나머지 위치와 관련된 데이터를 저장하는 것을 시작할 때 캡처되는 값에 고정되지 않을 것이다. 그때, 상기 모니터링 카메라(14)는 이전에 서술된 롤 데이터의 각도로 동작할 수 있고, 상기 롤 데이터의 각도 및 그에 따른 QR-코드는 자주 업데이트된다.
다른 실시예들에서, 상기 프로세스들은, 캡처되는 이미지에서 수평 레벨을 얻기 위해 사람이 모니터링 카메라(14)를 설치하거나 또는 제공하는 것을 돕기 위해 사용될 수 있다. 상기 모바일 디바이스(10)는, 상기의 어떤 실시예에서 서술된 것처럼 상기 카메라의 앞에 유지된다. 상기 모바일 디바이스의 디스플레이(12) 상에 표시되는 그래픽 코드는, 적어도 상기 모바일 디바이스(10)의 롤의 각도에 관련된 정보로 자주 업데이트된다. 상기 카메라는, 상기 그래픽 코드의 캡처된 이미지 및 상기 그래픽 코드에 의해 전달되는 디코딩된 정보에 기초하여 롤의 각도 그 자체를 계산한다. 즉, 상기 모니터링 카메라는, 상기 캡처된 이미지 및 상기 모바일 디바이스(10)로부터 제공된 정보에 기초하여 자신의 롤 각도를 계산한다. 발생된 상기 모니터링 카메라의 롤 각도는 이후, 예를 들어, 모니터링 카메라 자체에 의해 또는 상기 카메라에 접속된 네트워크 내의 계산적인 디바이스에 의해 평가되고, 그리고 상기 모니터링 카메라(14)에 의해 발생되는 소리 또는 광은 상기 롤의 각도가 수용될 수 있는지를 나타내기 위해 제어된다. 상기 소리 또는 광은, 상기 롤의 각도가 수용될 수 있는지 또는 상기 롤의 각도가 수용될 수 없는지를 나타내기 위해 발생될 수 있다.
그와 같은 구현의 이해를 용이하게 하도록, 한 예가 표현될 것이다. 상기 모바일 디바이스는, 상기 카메라에 의해 캡처될 수 있도록 상기 그래픽 코드를 보여주는 상기 모니터링 카메라(14) 앞에 놓여진다. 상기 카메라가 상기 모니터링 카메라의 광축 주변으로 그리고 수평선에 관련하여 기울어지면, 발광 다이오드(LED)는 발광하기 위해 활성화된다. 그때, 상기 롤의 각도가 수용될 수 있는지를 나타내는 광을 상기 LED가 방출하는 것을 멈출 때까지, 상기 카메라를 설치하거나 또는 제공하는 사람은 상기 광축 주변으로 상기 카메라를 회전시킬 수 있다.
상기 카메라의 위치를 결정할 때 높은 정확도가 요구되면, 상기 모바일 디바이스 상에 디스플레이되는 QR-코드 또는 다른 패턴은, 상기 모바일 디바이스가 상기 카메라 앞에서 움직일 때 갱신될 필요가 있다. 하지만, 이것은 불완전하거나 또는 망가진(broken) 코드들을 캡처할 위험성을 내포하는바, 이는 상기 카메라가 이미지들을 캡처하는 프레임 레이트가 상기 모바일 디바이스의 디스플레이의 업데이트 빈도와 반드시 동기화되지 않기 때문이다. 상기 모바일 디바이스의 디스플레이를 업데이트할 때 캡처되는 이미지들은, 오래된 QR-코드와 새로운 QR-코드의 혼합을 포함할 수 있다. 불완전한 QR-코드들을 캡처할 때의 문제점을 감소시키기 위해, 상기 모바일 디바이스의 디스플레이의 업데이트 빈도는 감소될 수 있어, 상기 디스플레이 상의 패턴은 상기 카메라의 프레임 레이트보다 더 적은 초당 회수로 업데이트된다. 예를 들어, 상기 디스플레이는, 상기 카메라에 의해 캡처되는 2개 또는 3개의 프레임들에 대응하는 간격들에서 업데이트될 수 있다. 여전히, 이것은, 카메라 위치의 결정의 정확성을 감소시키는 지연을 추가할 수 있으며, 또한, QR-코드 이미지들의 불필요한 복제들을 처리하는 것을 암시한다.
대신, 불완전한 QR-코드들의 위험은 상기 카메라 및 디스플레이의 서로 다른 컬러 채널들의 장점을 취함으로써 감소될 수 있다. 상기 QR-코드가 업데이트될 때, 먼저 녹색 채널 상에서만 업데이트되는 반면, 적색 채널 및 청색 채널은 여전히 이전의 QR-코드를 보여준다. 이후, 상기 QR-코드는 업데이트되고, 적색 채널 및 청색 채널은 업데이트되는 반면, 녹색 채널은 이전과 동일한 QR-코드를 디스플레이한다. 따라서, 상기 디스플레이는, 상기 모바일 디바이스의 가장 최근에 결정된 위치에 대응하는 상기 QR-코드를 디스플레이하는 하나 또는 2개의 색 채널들 및 상기 모바일 디바이스의 이전에 결정된 위치에 대응하는 상기 QR-코드를 디스플레이하는 다른 하나 또는 2개의 색 채널들과 동시에 2개의 QR-코드들을 디스플레이할 것이다. 이는 3단계의 프로세스로의 업데이트를 수행할 수 있다. 즉, 상기 색 채널들 중 하나(예를 들어, 적색)를 먼저 업데이트하고, 이후, 다른 색 채널(예를 들어, 녹색)을 업데이트하며, 최종적으로 마지막 색 채널(예를 들어, 청색)을 업데이트할 수 있다. QR-코드의 지리적 위치로의 변환은 카메라의 하나의 컬러 채널에서 또는 동시에 2개의 컬러 채널에서 적용가능할 때 행해진다. 상기 캡처된 이미지의 컬러 채널들 중 하나가 불완전하거나 또는 혼합된 QR-코드를 포함하면, 다른 컬러 채널 또는 컬러 채널들은 여전히 상기 카메라의 위치를 결정하기 위해 사용될 수 있다. 유리하게, 상기 QR-코드는 상기 카메라에 의해 캡처되는 각 이미지에서 단지 한번 위치될 필요가 있고, 그 후, 위치에서 2번(또는 업데이트가 분할되는 컬러 채널들의 수에 따라 3번) 디코딩되거나 변환될 필요가 있다. 즉, 적용가능한 컬러 채널마다 한번 변환될 필요가 있다.
통상의 기술자는, 그와 같은 업데이트 접근법이 QR-코드들에만 제한되는 것이 아닌, 앞에서 논의된 모든 정렬들의 패턴들로 사용될 수 있다. 이러한 접근법은, 또한, RGB 컬러(적색, 녹색, 청색) 공간에 제한되는 것이 아닌, 가까이에 있는 모바일 디바이스 디스플레이 및 카메라의 조합에 의해 사용되는 어떤 컬러 공간으로 사용될 수 있다.

Claims (15)

  1. 카메라의 위치를 결정하는 방법으로서,
    모바일 디바이스의 지리적 좌표들을 상기 모바일 디바이스 자체에서 결정하고 등록하는 단계와;
    상기 모바일 디바이스의 지리적 좌표들을 나타내는 패턴을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계와;
    상기 지리적 좌표들을 나타낼 때 상기 모바일 디바이스의 디스플레이의 이미지를 상기 카메라에 의해 캡처하는 단계와;
    상기 모바일 디바이스의 디스플레이의 상기 캡처된 이미지 내의 상기 패턴을 지리적 좌표들로 상기 카메라에서 변환하는 단계와; 그리고
    상기 캡처된 이미지 내의 상기 패턴으로부터 변환된 상기 지리적 좌표들에 기초하여 상기 카메라의 위치를 상기 카메라에서 결정하는 단계를 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  2. 제1항에 있어서,
    상기 모바일 디바이스의 디스플레이 상에 표시된 상기 패턴의 2개의 구별가능한 피처들 사이의 거리를 식별하는 값을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  3. 제1항에 있어서,
    상기 모바일 디바이스가 향하는 지리적 방향을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  4. 제1항에 있어서,
    상기 패턴은 2차원 코드이고, 그리고 상기 패턴은 상기 모바일 디바이스의 디스플레이 상의 패턴에 의해 표현되는 데이터를 표현하고 있는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  5. 제1항에 있어서,
    상기 패턴은 QR-코드인 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  6. 제1항에 있어서,
    상기 모바일 디바이스의 디스플레이 상에 표시된 상기 패턴의 2개의 구별가능한 피처들 사이의 거리를 식별하는 값을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계와; 그리고
    상기 모바일 디바이스가 향하는 지리적 방향을 나타내는 패턴을, 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계를 더 포함하고,
    상기 카메라의 위치를 결정하는 단계는, 적어도 상기 캡처된 이미지에서 측정되는 상기 패턴의 물리적인 피처들, 상기 캡처된 이미지의 패턴에서의 2개의 구별가능한 피처들 사이의 거리를 식별하는 값, 그리고 상기 모바일 디바이스의 지리적 방향에 기초하여, 상기 모바일 디바이스에 의해 표시되는 상기 패턴으로부터 검색되는 위치를 조정함으로써 상기 카메라의 위치를 계산하는 단계를 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  7. 제1항에 있어서,
    상기 카메라의 위치를 결정하는 단계는, 상기 모바일 디바이스에 의해 표시되는 위치로 상기 카메라의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  8. 제1항에 있어서,
    상기 카메라에 상기 카메라의 위치를 저장하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  9. 제1항에 있어서,
    카메라 관리 서버에 상기 카메라의 위치를 저장하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 위치를 결정하는 방법.
  10. 카메라 및 모바일 디바이스를 포함하는 상기 카메라의 공간 특성들을 결정하는 시스템으로서,
    상기 모바일 디바이스는, 위치 결정 센서(positioning sensor), 상기 위치 결정 센서에 의해 검출되는 위치를 나타내는 패턴을 발생하도록 구성된 패턴 발생기(pattern generator), 및 시각적으로 상기 패턴을 표시하도록 구성된 디스플레이를 포함하고; 그리고
    상기 카메라는, 장면의 이미지들을 캡처하는 이미지 센서, 상기 모바일 디바이스의 패턴 발생기에 의해 발생되고 그리고 상기 이미지 센서에 의해 캡처되는 상기 패턴 내의 정보를 해석하도록 구성된 패턴 해석기, 상기 패턴 해석기에 의한 상기 해석으로부터 상기 위치 정보를 추출하도록 구성된 위치 추출기, 및 상기 위치 추출기에 의해 추출된 상기 위치에 기초하여 상기 카메라의 위치를 설정하도록 구성된 카메라 위치 설정기를 포함하는 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
  11. 제10항에 있어서,
    상기 패턴 발생기는 패턴을 발생시키도록 구성되고, 상기 발생된 패턴은, 상기 모바일 디바이스의 디스플레이 상에 표시되는 상기 패턴의 2개의 구별가능한 피처들 사이의 거리를 식별하는 정보를 포함하는 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
  12. 제10항에 있어서,
    상기 모바일 디바이스는, 상기 모바일 디바이스가 향하는 방향을 검출하도록 구성되는 방위 센서를 더 포함하고, 그리고 상기 패턴 발생기는, 그와 같은 검출된 방향을 식별하는 정보를 포함하는 패턴을 발생시키도록 구성되는 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
  13. 제10항에 있어서,
    상기 모바일 디바이스는 스마트 폰 또는 태블릿 컴퓨터인 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
  14. 제10항에 있어서,
    상기 카메라 위치 설정기는, 상기 패턴의 이미지, 상기 패턴의 2개의 구별되는 피처들 사이의 거리의 정보, 상기 모바일 디바이스의 방향, 및 상기 모바일 디바이스의 위치에 기초하여 상기 카메라의 위치를 계산하도록 구성되는 위치 계산기를 포함하는 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
  15. 제10항에 있어서,
    상기 카메라 위치 설정기는, 상기 모바일 디바이스에 의해 디스플레이되는 상기 패턴에 표시된 위치와 동일한 위치에 상기 카메라의 위치를 설정하도록 구성되는 것을 특징으로 하는 카메라의 공간 특성들을 결정하는 시스템.
KR1020160055252A 2015-05-19 2016-05-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템 KR20160136233A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP16199538.6A EP3242245B1 (en) 2015-05-19 2016-11-18 Method and system for transmission of information
JP2017084103A JP6473475B2 (ja) 2015-05-19 2017-04-21 情報を送信する方法及びシステム
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템
CN201710303871.4A CN107346406B (zh) 2015-05-19 2017-05-03 用于信息传输的方法及系统
US15/585,941 US10152665B2 (en) 2015-05-19 2017-05-03 Method and system for transmission of information
TW106114732A TWI657377B (zh) 2015-05-19 2017-05-04 用於傳輸資訊的方法及系統
KR1020180077844A KR102019412B1 (ko) 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15168222.6 2015-05-19
EP15168222.6A EP3096290B1 (en) 2015-05-19 2015-05-19 Method and system for determining camera pose

Publications (1)

Publication Number Publication Date
KR20160136233A true KR20160136233A (ko) 2016-11-29

Family

ID=53268640

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160055252A KR20160136233A (ko) 2015-05-19 2016-05-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템
KR1020180077844A KR102019412B1 (ko) 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템
KR1020180077844A KR102019412B1 (ko) 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템

Country Status (6)

Country Link
US (2) US10373035B2 (ko)
EP (2) EP3096290B1 (ko)
JP (2) JP6484587B2 (ko)
KR (3) KR20160136233A (ko)
CN (2) CN106169184A (ko)
TW (2) TWI718150B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180118429A (ko) 2017-04-21 2018-10-31 성균관대학교산학협력단 스크린-카메라 통신을 위한 암호화 코드 출력 방법 및 장치
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881378B2 (en) * 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
KR102568996B1 (ko) * 2016-08-25 2023-08-21 한화비전 주식회사 감시카메라 설정 방법과 감시카메라 관리 방법 및 시스템
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US10740666B2 (en) * 2018-09-27 2020-08-11 Caleb J. Webster Two-dimensional cryptographic poly-chromatic poly-digital code
KR102604170B1 (ko) * 2018-09-27 2023-11-20 삼성전자주식회사 전자 장치 및 그 제어 방법
FI130829B1 (fi) * 2019-01-02 2024-04-12 Procemex Oy Ltd Menetelmä koneluettavan koodin käyttämiseksi kameran ohjaamiseen havaitsemaan ja tarkkailemaan kohteita
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN110300286A (zh) * 2019-07-17 2019-10-01 维沃移动通信有限公司 一种图像显示方法及终端
CN114730212A (zh) * 2019-12-05 2022-07-08 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
FI129144B (fi) * 2020-04-03 2021-08-13 Doop Oy Laitteen asetusten määrittäminen halutuiksi
US11610088B1 (en) * 2020-04-07 2023-03-21 Apple Inc. Time varying visual marker verification and decoding
JP7456911B2 (ja) * 2020-10-13 2024-03-27 株式会社日立製作所 情報処理システム及び情報処理装置
CN113345028B (zh) * 2021-06-01 2022-04-26 亮风台（上海）信息科技有限公司 一种确定目标坐标变换信息的方法与设备
US11861864B2 (en) 2021-07-23 2024-01-02 Vgis Inc. System and method for determining mediated reality positioning offset for a virtual camera pose to display geospatial object data
CN113605276B (zh) * 2021-10-08 2022-01-25 中交第一公路勘察设计研究院有限公司 一种公路用雷视一体机的辅助安装装置和角度校准方法
WO2023138747A1 (en) * 2022-01-18 2023-07-27 Robert Bosch Gmbh Method for a configuration of a camera, camera arrangement, computer program and storage medium

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285585A (ja) * 1997-04-10 1998-10-23 Matsushita Electric Ind Co Ltd 監視カメラおよび監視カメラシステム
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
JP2003324713A (ja) * 2002-05-01 2003-11-14 Matsushita Electric Ind Co Ltd 映像システムおよびカメラ装置
KR100678169B1 (ko) 2004-10-28 2007-02-02 삼성전자주식회사 서로 이격된 두 단말기 사이의 데이터 전송 시스템 및 방법
US7543748B2 (en) 2005-02-16 2009-06-09 Pisafe, Inc. Method and system for creating and using redundant and high capacity barcodes
US8531521B2 (en) 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
JP4404913B2 (ja) 2007-01-23 2010-01-27 Ｎｅｃインフロンティア株式会社 バーコード読取装置及び読取方法
US8055887B2 (en) 2008-03-07 2011-11-08 International Business Machines Corporation Dynamically updating barcode data
JP5136302B2 (ja) 2008-03-27 2013-02-06 株式会社デンソーウェーブ 二次元コード、二次元コード生成方法、二次元コードを表示させるコンピュータ読み取り可能なプログラム、二次元コードを利用した認証方法、及び二次元コードを利用した情報提供方法
JP2010114584A (ja) * 2008-11-05 2010-05-20 Mitsubishi Electric Corp カメラ装置
BRPI1008335A2 (pt) * 2009-02-10 2016-02-23 Ind Origami Inc folha de material com estruturas de controle de curvatura e método
GB0903063D0 (en) 2009-02-24 2009-04-08 Geotate Bv automatic configuration
US8720780B2 (en) 2009-04-08 2014-05-13 Blackberry Limited Systems, devices, and methods for displaying a barcode at a computing device
US8186572B2 (en) 2009-07-02 2012-05-29 Barcode Graphics Inc. Systems and methods for animating barcodes
JP5347847B2 (ja) 2009-08-31 2013-11-20 株式会社リコー 画像撮影装置、通信確立方法、プログラム
TW201113815A (en) * 2009-10-09 2011-04-16 Primax Electronics Ltd QR code processing method and apparatus thereof
JP5378181B2 (ja) * 2009-12-07 2013-12-25 株式会社日立製作所 システム、システム構築方法、管理端末、プログラム
US20120012731A1 (en) * 2010-07-16 2012-01-19 Esw Inc. Fastenerless Engine Exhaust Component Suspension Device
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
EP2469467A1 (en) 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
US9015806B2 (en) 2011-10-07 2015-04-21 Maxim Integrated Products, Inc. Sending digital data visually using mobile display and camera sensor
US8821277B2 (en) 2011-12-16 2014-09-02 Wesley John Boudville Colour barcodes and cellphone
CN102546174A (zh) * 2011-12-20 2012-07-04 贾松仁 二维码加密/解密方法和防伪方法
JP2013145996A (ja) * 2012-01-16 2013-07-25 Hitachi Ltd 監視カメラシステムおよび情報設定端末
EP2639738A1 (de) 2012-03-13 2013-09-18 Siemens Aktiengesellschaft Verfahren und Lesegerät zur Erfassung einer Mehrzahl nacheinander auf eine Anzeigevorrichtung dargestellter zweidimensionaler Codes
US9253728B2 (en) * 2012-04-30 2016-02-02 Apple Inc. Operating geographic location systems
US8879832B2 (en) 2012-06-26 2014-11-04 Xerox Corporation Color matrix code
EP2709058B1 (en) 2012-07-18 2015-09-02 AGT International GmbH Calibration of camera-based surveillance systems
WO2014022905A1 (en) * 2012-08-10 2014-02-13 Research In Motion Limited Stacked device position identification
TW201435830A (zh) * 2012-12-11 2014-09-16 3M Innovative Properties Co 不顯眼之光學標籤及其方法
US20140211018A1 (en) * 2013-01-29 2014-07-31 Hewlett-Packard Development Company, L.P. Device configuration with machine-readable identifiers
CN103280153A (zh) * 2013-05-24 2013-09-04 南京邮电大学 一种基于qr码的移动终端定位方法
JP2014235676A (ja) 2013-06-05 2014-12-15 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 二次元カラーコード表示装置、及びその表示方法、二次元カラーコード読み取り装置、及びその読み取り方法
US20150035846A1 (en) 2013-08-02 2015-02-05 Alex Ioannidis Scannable time-varied geometric representation of data
EP2858010A1 (en) * 2013-10-01 2015-04-08 Inventio AG Data transmission using optical codes
US9506761B2 (en) * 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
US9786276B2 (en) * 2014-08-25 2017-10-10 Honeywell International Inc. Speech enabled management system
CN104408698B (zh) * 2014-10-29 2017-06-06 中山大学 一种基于压缩感知的二维码图像光照均衡方法
EP3018917B1 (en) 2014-11-06 2016-12-28 Axis AB Method and system for audio calibration of an audio device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180118429A (ko) 2017-04-21 2018-10-31 성균관대학교산학협력단 스크린-카메라 통신을 위한 암호화 코드 출력 방법 및 장치
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Also Published As

Publication number Publication date
TW201741934A (zh) 2017-12-01
KR102019412B1 (ko) 2019-09-06
TWI718150B (zh) 2021-02-11
US10373035B2 (en) 2019-08-06
CN107346406B (zh) 2019-04-12
EP3242245B1 (en) 2018-06-06
JP2017224282A (ja) 2017-12-21
TW201710997A (zh) 2017-03-16
JP6473475B2 (ja) 2019-02-20
US10152665B2 (en) 2018-12-11
EP3242245A1 (en) 2017-11-08
CN107346406A (zh) 2017-11-14
JP6484587B2 (ja) 2019-03-13
KR20180081028A (ko) 2018-07-13
TWI657377B (zh) 2019-04-21
KR101913371B1 (ko) 2018-10-30
US20170323187A1 (en) 2017-11-09
KR20170125726A (ko) 2017-11-15
CN106169184A (zh) 2016-11-30
US20160343137A1 (en) 2016-11-24
EP3096290B1 (en) 2018-07-18
EP3096290A1 (en) 2016-11-23
JP2017021328A (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
TWI718150B (zh) 用於判定一攝像機之空間特徵的方法及系統
JP2017224282A5 (ko)
US10740975B2 (en) Mobile augmented reality system
US9558557B2 (en) Online reference generation and tracking for multi-user augmented reality
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
TW201229962A (en) Augmenting image data based on related 3D point cloud data
CN113345028B (zh) 一种确定目标坐标变换信息的方法与设备
KR20120017293A (ko) 증강 현실 제공 장치 및 방법
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
KR20120108256A (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
US20130155211A1 (en) Interactive system and interactive device thereof
JP2008203991A (ja) 画像処理装置
US11727655B1 (en) Systems and methods for synchronizing the scanning of a scene with the viewing of the scan results relative to a live view of the scene
CN109345633A (zh) 一种面向增强现实装配的全景三维注册系统及方法
JP2015230420A (ja) 投射型表示装置