KR102019412B1 - 카메라의 공간적 특성들을 결정하는 방법 및 시스템 - Google Patents

카메라의 공간적 특성들을 결정하는 방법 및 시스템 Download PDF

Info

Publication number
KR102019412B1
KR102019412B1 KR1020180077844A KR20180077844A KR102019412B1 KR 102019412 B1 KR102019412 B1 KR 102019412B1 KR 1020180077844 A KR1020180077844 A KR 1020180077844A KR 20180077844 A KR20180077844 A KR 20180077844A KR 102019412 B1 KR102019412 B1 KR 102019412B1
Authority
KR
South Korea
Prior art keywords
information
color
pattern
extracted
information transfer
Prior art date
Application number
KR1020180077844A
Other languages
English (en)
Other versions
KR20180081028A (ko
Inventor
마커스 스칸스
비요른 아르되
이고르 구로프스키
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20180081028A publication Critical patent/KR20180081028A/ko
Application granted granted Critical
Publication of KR102019412B1 publication Critical patent/KR102019412B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N5/2251—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G01N17/02—Electrochemical measuring systems for weathering, corrosion or corrosion-protection measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1095—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner comprising adaptations for scanning a record carrier that is displayed on a display-screen or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은 반복적으로 변화하는 정보의 시각적 전송 및 수신을 위한 방법에 관한 것이다. 상기 전송을 위한 방법은, 아래의 단계들을 반복적으로 수행하는 단계와; 전송할 제1 세트의 정보를 수신하는 단계 - 상기 제1 세트의 정보는 이전에 수신된 세트의 정보의 업데이트이며 - 와; 상기 제1 세트의 정보를 나타내는 정보 전달 제1 패턴을 생성하는 단계와; 상기 정보 전달 제1 패턴을 제1 컬러로 디스플레이하는 단계와; 전송할 제2 세트의 정보를 수신하는 단계 - 상기 제2 세트의 정보는 상기 제1 세트의 정보의 업데이트이며 - 와; 상기 제2 세트의 정보를 나타내는 정보 전달 제2 패턴을 생성하는 단계와; 그리고 상기 정보 전달 제2 패턴을 제2 컬러로 디스플레이하는 단계를 포함하고, 상기 정보 전달 패턴들 중 하나는, 상기 정보 전달 패턴들 중 다른 하나가 업데이트될 때, 정적으로 디스플레이된다. 상기 수신을 위한 방법은, 아래의 단계들을 반복적으로 수행하는 단계와; 서로 다른 컬러의 적어도 2개의 정보 전달 패턴들을 포함하는 디스플레이의 이미지를, 디지털 이미지 센서에 의해 캡처하는 단계와; 상기 캡처된 이미지로부터 제1 컬러의 정보 전달 패턴을 추출하는 단계와; 상기 추출된 제1 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와; 상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계와; 그리고 상기 추출된 제2 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계를 포함한다.

Description

카메라의 공간적 특성들을 결정하는 방법 및 시스템{METHOD AND SYSTEM FOR DETERMINING SPATIAL CHARACTERISTICS OF A CAMERA}
본 발명은 반복적으로 업데이트되는 정보의 시각적 전송을 위한 방법 및 시스템에 관한 것이다.
모션 비디오 이미지를 캡처하는 비디오 카메라들은, 일반적으로, 모니터링 시스템들, 감시 시스템, 액세스 제어 시스템 등에서 사용된다.
그와 같은 카메라의 많은 설정들은, 카메라가 설치된 환경의 파라미터들에 의존한다. 감시 카메라들 및/또는 모니터링 카메라들을 조사/모니터링된 영역을 나타내는 지도에 맵핑하는 것은 많은 애플리케이션들에 대해 매우 유용하다. 예를 들어, 지도를 사용하여 수리를 위해 특정 카메라들을 찾거나 단순히 비디오에 캡처된 특정 사건이 발생한 위치를 찾을 수 있다. 더욱이, 상기 지도상의 카메라는, 지도 내의 영역에 관련된 비디오 스트림의 선택을 용이하게 하도록 특정 카메라로부터 시작된 비디오 스트림들과 쌍을 이룰 수 있다. 상기 카메라의 위치 데이터는 또한 비디오가 캡처된 위치를 식별할 수 있도록 비디오 기록될 수 있다.
이러한 유형의 맵핑은, 물론, 모든 카메라들이 어디에 배치되어 있는지를 사람이 검사하여, 종이 지도 또는 디지털 지도에 입력하도록 수동으로 수행될 수 있다. 디지털 지도 내의 지리적 위치는 단순히 디스플레이 상에 표시된 지도 내의 위치를 선택하거나 또는 상기 카메라의 위치를 나타내는 좌표를 입력함으로써 수행될 수 있다. 이러한 좌표들은, 상기 위치가 고유하게 식별되는 한 임의의 지리적 좌표 시스템에 제공될 수 있다. 지리적 위치는, 또한 또는 대안적으로, 비디오 스트림에 삽입될 수 있고, 때로는 지오 태깅(geo-tagging)이라고 불리운다. 따라서, 장면을 모니터링하는 카메라에 유용한 일부 설정들은, 카메라의 지리적 위치, 카메라가 향하는 방향, 수평면과 관련된 카메라의 틸트 각도 등이다. 라우드스피커를 갖는 카메라, 예를 들어, 도어 스테이션에 유용한 다른 설정들은, 많은 경우들에서, 라우드스피커가 장착된 환경에 의존하는 음질 파라미터들이다.
많은 설정들이 수동으로 이뤄질 수 있다. 예를 들어, 사람은 다른 방식들로 카메라의 지리적 위치를 계산할 수 있거나 또는 얻을 수 있으며, 카메라가 이미지들을 캡처하는 방향의 방위를 얻기 위해 나침반을 사용할 수 있으며, 상기 카메라의 틸팅 각도를 근사하기 위해 레벨을 사용할 수 있고, 이후, 이러한 값들을 상기 카메라에 인서트한다. 또 다른 예는, 라우드스피커의 설정들과 관련이 있다. 여기서, 사람은 일부 사운드를 연주하는 라우드스피커를 듣고 그리고 상기 사운드가 주관적으로 충분히 좋은 사운드가 들릴 때까지 라우드스피커를 제어하는 설정을 조정한다.
이와 같은 설정들을 하는 대안의 방법은, 카메라-기반 시스템이 정확한 설정들을 하도록 돕는 정보를 디스플레이하는 디스플레이, GPS 회로 또는 디바이스의 지리적 위치를 결정하기 위한 어떤 등가의 위치 회로, 수평면과 관련하여 상기 디바이스의 틸트 또는 가능한 롤를 결정하는 가속도계, 환경에서의 사운드들, 예를 들어, 카메라 시스템의 라우드스피커로부터 전송된 오디오 신호들을 검출하는 마이크로폰 등을 포함하고, 그리고 상기 디바이스가 카메라에 대한 설정들에 관련된 정보를 디스플레이하도록 한다. 카메라-기반 시스템이 올바른 설정들을 하도록 돕기위한 정보는, 디스플레이 상에 그래픽 코드로서 디스플레이될 수 있고, 그리고 상기 그래픽 코드는 디스플레이를 갖는 디바이스에 의해 검색가능한 상기에서 언급된 정보 유형들 중 임의의 것을 포함할 수 있다. 이러한 유형의 시스템은 카메라 시스템에 설정들을 하는 프로세스를 용이하게 한다. 하지만, 반복적으로 업데이트된 데이터에 관해 정보의 시각적 통신에 문제점이 존재한다. 예를 들어, 나침반 판독, 지리적 위치, 틸트 각도는, 디스플레이를 구비한 디바이스가 사람의 손의 움직임으로 인해 이동될 때 모두 달라진다. 더욱이, 사운드가 들릴 때, 디바이스는 라우드스피커에 의해 전송된 사운드에 관련된 정보를 제공해야 한다. 이러한 정보는 역동적이고 끊임없이 변화할 수 있다.
이와 같은 반복적으로 업데이트되는 정보의 통신에 관한 한가지 문제점은, 전송할 정보를 나타내는 디스플레이 상의 그래픽 코드가 카메라에서 프레임 캡처하는 동안 업데이트될 위험이 있다는 점이다. 이는, 디스플레이를 통해 중요한 정보를 수신하는 것에 의존하는 애플리케이션들에 대한 문제점 또는 손상된 데이터를 포함하는 하나의 이미지 프레임이 어떤 종류의 단점을 가지는 애플리케이션들에 대한 문제점, 예를 들어, 시스템이 손상되지 않은 다음 이미지 프레임의 정보를 해석하도록 요구함으로써 정보 전달 지연이 생겨나고, 카메라의 이미지 등록 및 정보 전송 디스플레이의 업데이트가 동기화되거나 또는 거의 동기화되는 경우 손상되는 않은 전송을 결코 또는 거의 달성하지 못하는 문제가 발생하여 카메라가 디스플레이 상에 정보 그래픽을 업데이트하는 동안 이미지를 캡처하는 문제점을 갖게 된다.
E 1 655947 A1은 2개의 개별 단말들 사이의 데이터 전송 시스템을 개시한다. 데이터 전송 시스템은 데이터를 저장하는 제1 메모리, 데이터를 인코딩하고 그리고 이미지 코드를 생성하는 인코더, 이미지 코드를 디스플레이하기 위한 디스플레이 유닛을 갖는 제1 단말, 이미지 코드를 사진 촬영하기 위한 센서를 갖는 제2 단말, 사진 촬영된 이미지 코드를 디코딩함으로써 데이터를 원래 데이터로 복원하는 디코더 및 복원된 데이터를 저장하는 메모리를 포함한다.
US 2013/240627 A1은 디스플레이 장치에 연속으로 표시되는 2차원 코드들을 캡처하는 방법, 판독기 및 컴퓨터 프로그램 제품을 개시하며, 2차원 코드들은 카메라로부터 복수의 샷(shot)들에 의해 캡처되고 그리고 평가 디바이스에 의해 디코딩된다. 여기에서, 상기 코드들을 갖는 샷들을 캡처하는 카메라의 사진 촬영 속도는 표시된 코드들의 변화의 속도보다 높고, 표시된 코드가 변경된 경우, 후속적으로 표시된 코드는 각각 이전에 표시된 코드에 관련하여 변경된 방향을 갖는 것으로 표시되고, 그리고 샷으로부터 코드를 디코딩하기 전에, 각각의 샷에서 코드의 방향이 각각 알려지고, 캡처된 코드가 가장 최근에 연속적으로 디코딩된 코드에 관련하여 변경된 방향을 가질 때에만 디코딩이 수행된다.
GB 2 471 567 A는 일련의 링크된 바코드들의 동적인 디스플레이를 개시한다. 링크된 바코드들의 시퀀스가 저장되고 그리고 동적이거나 동영상으로된 바코드를 생성하기 위해 디바이스 상에 디스플레이된다. 이러한 방식으로, 증가된 양의 인코딩된 정보는 동일한 크기의 디스플레이를 사용하여 전송될 수 있다. 2개 이상의 일련의 링크된 바코드들은, 상이한 심볼들을 사용하여, 상이한 판독기들이 정보를 액세스할 수 있도록 개재될 수 있다. 바코드 애니메이션들은 모바일 폰 스크린 또는 웹 페이지들, 텔레비전 방송들, 비디오 미디어 상에 디스플레이될 수 있거나 또는 파비콘들로서 디스플레이될 수 있다.
본 발명의 목적은, 디스플레이 상에 정보를 디스플레이하는 것 및 카메라를 사용하여 상기 디스플레이된 정보를 캡처하는 것을 포함하는 시각적 통신 방법을 사용하여 데이터 전송의 신뢰성을 증가시키는 것이다.
상기 목적은, 제1항에 따른 방법에 의해, 제8항에 따른 방법에 의해, 그리고 제10항에 따른 시스템에 의해 달성된다. 본 발명의 다른 실시예들은 종속항들에 제시된다.
특히, 적어도 하나의 실시예에 따르면, 반복적으로 변화하는 정보의 시각적 전송을 위한 방법으로서, 아래의 단계들을 반복적으로 수행하는 단계와; 전송할 제1 세트의 정보를 수신하는 단계 - 상기 제1 세트의 정보는 이전에 수신된 세트의 정보의 업데이트이며 - 와; 상기 제1 세트의 정보를 나타내는 정보 전달 제1 패턴을 생성하는 단계와; 제1 컬러로 디스플레이된 이전에 생성된 정보 전달 패턴을 대체하는 상기 정보 전달 제1 패턴을 제1 컬러로 디스플레이하는 단계와; 전송할 제2 세트의 정보를 수신하는 단계 - 상기 제2 세트의 정보는 상기 제1 세트의 정보의 업데이트이며 - 와; 상기 제2 세트의 정보를 나타내는 정보 전달 제2 패턴을 생성하는 단계와; 그리고 제2 컬러로 디스플레이된 이전에 생성된 정보 전달 패턴을 대체하는 상기 정보 전달 제2 패턴을 제2 컬러로 디스플레이하는 단계를 포함하고, 상기 제2 컬러는 상기 제1 컬러와 서로 다르며, 상기 제1 컬러 또는 상기 제2 컬러로 디스플레이된 이전에 생성된 정보 전달 패턴을 대체하는 동안, 상기 제1 컬러 또는 상기 제2 컬러의 다른 정보 전달 패턴이 정적으로 디스플레이된다. 또 다른 정보 전달 패턴이 업데이트되는/대체되는 기간 동안 정적으로 디스플레이되는 정보 전달 패턴들 중 하나의 이점은, 언제나 유효한 정보가 디코딩될 것이고 그리고 이미지 디스플레이 및 이미지 캡처의 동기화가 필요없다는 것이다. 더욱이, 업데이트된 정보의 디스플레이된 정보 전달 패턴들의 컬러를 변경하는 방식은, 2개의 서로 다른 정보 전달 패턴들을 서로 구별하는 것을 용이하게 한다.
상기 정보 전달 패턴은, 바코드일 수 있는 1차원 그래픽 코드를 형성할 수 있거나 또는 QR-코드일 수 있는 2차원 그래픽 코드를 형성할 수 있다.
또한, 정보 전달 제1 패턴 및 정보 전달 제2 패턴은 동일한 디스플레이 영역에서 엮여질 수 있는 데, 이는 정보 전달 패턴들 각각이 디스플레이 영역 대부분을 이용할 수 있고, 그에 따라, 상기 정보 전달 패턴의 정보 밀도가 높을 수 있다는 이점이 있다.
더욱이, 일부 실시예들은 또한, 각각의 반복에서, 전송할 제3 세트의 정보를 수신하는 단계 - 상기 제3 세트의 정보는 상기 제1 세트의 정보 및/또는 상기 제2 세트의 정보의 업데이트이며 - 와; 상기 제3 세트의 정보를 나타내는 정보 전달 제3 패턴을 생성하는 단계와; 그리고 제3 컬러로 디스플레이된 이전에 생성된 정보 전달 패턴을 대체하는 상기 정보 전달 제3 패턴을 제3 컬러로 디스플레이하는 단계를 더 포함하고, 상기 제3 컬러는 상기 제1 컬러 및 상기 제2 컬러와 서로 다르다.
본 발명의 다른 양상에 따르면, 시각적으로 전송되고 그리고 반복적으로 업데이트되는 정보를 캡처 및 디코딩하는 방법은, 아래의 단계들을 반복적으로 수행하는 단계와; 서로 다른 컬러의 적어도 2개의 정보 전달 패턴들을 포함하는 디스플레이의 이미지를, 디지털 이미지 센서에 의해 캡처하는 단계와; 상기 캡처된 이미지로부터 제1 컬러의 정보 전달 패턴을 추출하는 단계와; 상기 추출된 제1 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와; 상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 상기 디코딩된 정보가 손상되었는지를 검사하는 단계와; 상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 상기 디코딩된 정보가 손상되지 않은 경우, 상기 정보의 현재 수신자인 애플리케이션에 따라 상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 상기 디코딩된 정보를 관리하는 단계와; 상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 상기 디코딩된 정보가 손상된 경우, 상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계와; 상기 추출된 제2 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와; 그리고 상기 정보의 현재 수신자인 애플리케이션에 따라 상기 추출된 제2 컬러의 정보 전달 패턴으로부터의 상기 디코딩된 정보를 관리하는 단계를 포함한다. 서로 다른 컬러를 갖는 2개의 정보 전달 패턴들을 판독하는 이점은, 예를 들어, 정보 전달 패턴의 업데이트의 결과로서, 상기 정보 전달 패턴들 중 하나의 디코딩이 실패하면, 다른 색의 정보 전달 패턴이 대신 디코딩될 수 있다는 사실에 기인하여 수신 안정성이 증가한다는 것이다. 따라서, 정보 전달 패턴의 업데이트동안 상기 이미지 프레임이 캡처되더라도, 손상되지 않은 업데이트된 데이터를 수신하는 것이 가능하다.
다른 실시예들에서, 방법은 또한, 제3 컬러의 상기 패턴을 상기 캡처된 이미지로부터 추출하는 단계 및 상기 제3 컬러의 추출된 패턴을 디코딩하는 단계를 포함한다.
본 발명의 추가적인 양상에 따르면, 시스템은 이미지 캡처 디바이스 및 디스플레이 디바이스를 포함하고, 상기 디스플레이 디바이스는 상기의 실시예들 중 어떤 하나의 방법을 사용하여 반복적으로 업데이트된 정보를 디스플레이하도록 배치되고 그리고 상기 이미지 캡처 디바이스는 상기 실시예들 중 어떤 하나의 방법을 사용하여 디스플레이되고 반복적으로 업데이트된 정보를 캡처하고 그리고 디코딩하도록 배치된다. 그와 같은 시스템은 이점은 위에 제시된 대응하는 피처들의 이점들에 대응한다.
디스플레이 디바이스는 휴대용 모바일 디스플레이 디바이스일 수 있고, 그리고 이미지 캡처 디바이스는 상기 시스템을 용이하게 구현하고 휴대성이 높은 모션 비디오 카메라일 수 있다. 즉, 휴대용 모바일 디바이스는 복수의 시스템들에서 용이하게 사용될 수 있고 그리고 복수의 시스템들에서 용이하게 이송될 수 있다. 일부 실시예들에서, 반복적으로 업데이트되는 정보는 휴대용 모바일 디스플레이 디바이스의 위치 좌표들을 포함한다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 하지만, 본 발명의 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예시들은, 본 발명의 범위 내의 여러 변경 및 수정이 이 상세한 설명으로부터 명확해질 것이기 때문에, 단지 예시로서 주어진 것임을 이해해야 한다. 따라서, 서술된 디바이스의 특정 컴포넌트 부분들 또는 그와 같은 디바이스 및 방법이 변할 수 있는 방법들의 단계들에 제한되지 않음을 이해해야 한다. 또한, 본 명세서에서 사용되는 용어는 특정 실시예를 설명하는 위한 것으로, 제한하도록 의도된 것은 아님을 알아야 한다. 명세서 및 청구 범위에서 사용된 것처럼, 단수 또는 "상기"를 나타내는 용어는, 맥락에서 명확히 다르게 언급되지 않으면 하나 이상의 요소들이 존재한다고 나타낸다. 따라서, 예를 들어, "센서" 또는 "상기 센서"에 대한 참조는, 여러 센서들을 포함할 수 있다. 더욱이, "포함하는"이라는 단어는 다른 요소들 또는 단계들을 배제하지 않는다.
본 발명의 다른 피처들 및 이점들은, 첨부된 도면들을 참조하여 현재 바람직한 실시예의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일부 실시예들에 따른 시스템의 개략적인 블록도이다.
도 2는 본 발명의 일부 실시예들에 따른 시각적 전송을 위한 정보를 디스플레이하는 프로세스의 흐름도이다.
도 3a는 제1 정보 세트를 포함하는 표준 QR-코드의 예이다.
도 3b는 제2 정보 세트를 포함하는 표준 QR-코드의 예이다.
도 4는 제1 및 제2 정보 세트 모두로부터의 정보를 포함하는 정보 전달 패턴의 일부분 및 상기 정보 전달 패턴의 어떤 일부분이 상기 본 발명의 일부 실시예들에 따라 디스플레이되는 일 예이다.
도 5는 도 2에 관련하여 서술된 시각적 전송으로부터 정보를 수신하는 프로세스의 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 사용되는 카메라의 공간적 특성들을 결정하기 위한 시스템의 개략적인 이미지이다.
도 7은 본 발명의 일 실시예에서 사용될 수 있는 QR-코드를 디스플레이하고 그리고 상기 QR-코드의 일부 피처들을 하이라이팅하는 모바일 디바이스의 일 예이다.
도 8은 본 발명의 일 실시예에 따른 모바일 디바이스에 의해 수행되는 프로세스를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 상기 모니터링 카메라에 의해 수행되는 프로세스를 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 모바일 디바이스에 대한 개략적인 블록도이다.
도 11은 본 발명의 일 실시예에 따른 모니터링 카메라에 대한 개략적인 블록도이다.
도 12는 실제의 점들과 이미지 점들 사이의 선형 변환을 도시한다.
도 13 및 도 14는 이미지 좌표 시스템에서의 장면의 점들과 실제 좌표 시스템에서의 장면의 점들 사이의 관계를 도시한다.
도 15는 사용되는 렌즈의 초점 거리를 계산하기 위한 예시적인 방법에서 사용되는 피처들을 도시한다.
도 16은 초점 거리를 계산하기 위한 예시적인 방법의 다른 피처들을 도시한다.
또한, 도면에서 동일한 참조 번호들은 여러 도면들에 걸쳐 동일하거나 대응하는 부분들을 나타낸다.
본 발명은 반복적으로 업데이트되는 정보의 시각적 전송 및 수신에 관한 것이다. 시각적 전송을 구현하는 시스템에 대한 기본 설정은, 전송될 정보를 디스플레이하는 디스플레이 디바이스 및 상기 전송될 정보를 상기 디스플레이 디바이스로부터 수신 또는 판독하는 일부 이미지 또는 모션 비디오 캡처 디바이스를 포함한다. 일부 실시예들에 따라, 도 1을 참조하면, 디스플레이 디바이스(10)는, 디스플레이(12)를 갖는 전자 디바이스, 예를 들어, 모바일 전화, PDA, 태블릿, 손목 시계, 디스플레이를 갖는 컴퓨터 또는 적정한 대형 디스플레이를 갖는 임의의 다른 전자 디바이스이다. 일부 실시예들에서, 모션 비디오 캡처 디바이스(14)는 디지털 비디오 카메라이고, 그리고 일부 실시예들에서, 상기 카메라는 스피커(16)에 연결될 수 있다. 디스플레이 디바이스(10) 및 디지털 비디오 카메라(14)를 사용하는 시각적 전송의 한가지 문제점은, 상기 디스플레이가 새로운 정보로 업데이트되는 기간 동안 상기 디지털 비디오 카메라(14)가 디스플레이(12)의 이미지를 캡처하고 있다는 점이다. 그와 같은 상황에서, 상기 캡처된 비디오 프레임은, 일부 새로운 정보 및 일부 오래된 정보를 포함할 것이다. 즉, 상기 정보는 확정적이거나 또는 손상되지 않는다. 상기 정보가, 그래픽 코드, 즉, 상기 정보를 나타내는 패턴을 사용하여 디스플레이되면, 전체 그래픽 코드는 상기 정보를 정확하게 디코딩하기 위해 캡처해야할 가능성이 있다. 따라서, 디스플레이(12) 상에 정보를 업데이트하는 동안 비디오 프레임이 캡처되면, 상기 정보는 상기 디지털 비디오 카메라 측에서 정확하게 디코딩될 수 없다.
디스플레이 디바이스(10) 상의 그래픽 표현의 업데이트로 인해 손상된 정보를 포함하는 비디오 프레임을 캡처하는 디지털 비디오 카메라(14)의 이러한 문제점은, 디지털 비디오 카메라(14)가 동기화되지 않은 경우 발생할 수 있어, 상기 디지털 비디오 카메라(14)는 상기 디스플레이 디바이스(10) 상에 표현되는 완전히 업데이트된 그래픽 정보만을 캡처한다. 하지만, 상기 디바이스들을 동기화하고 그리고 상기 디바이스들을 동기화된 상태로 유지하는 것은 쉽게 달성되지 않는다. 특히, 전송되는 정보가 반복적으로 업데이트되어 손상된 정보를 포함하는 이미지 프레임을 캡처하는 위험이 증가되는 애플리케이션들에서 상기 문제점은 명확해진다.
정보의 완전하게 업데이트되지 않은 그래픽 표현을 캡처하는 이러한 문제점은, 디스플레이 디바이스를 포함하는 본 발명의 실시예들에서 다뤄지고, 이러한 디스플레이 디바이스는, 디스플레이 상에 항상 존재하는 반복적으로 업데이트된 정보의 적어도 하나의 그래픽 표현을 생성함으로써 업데이트된 정보의 적어도 하나의 그래픽 표현의 캡처를 가능하게 하도록 배열된다. 애플리케이션들의 예들은, 카메라 구성, 카메라 위치 결정, 오디오 구성 등이며, 그리고 데이터의 예들은, 위치 검출 디바이스의 지리적 위치, 측정 디바이스의 방향 또는 방위, 측정 디바이스의 롤 또는 피치의 정도, 마이크로폰에서 캡처된 사운드 레벨 등일 수 있다. 위치 검출 디바이스, 측정 디바이스 및/또는 마이크로폰이 디스플레이 디바이스(10)에 포함될 수 있다.
도 2의 흐름도는 이러한 목적을 달성하는 실시예들의 프로세스를 서술한다. 이러한 프로세스는, 디스플레이 디바이스(10)에서 수행될 수 있다. 전송 프로세스(S500)는, 제1 정보의 세트가 수신되는 단계(S502)를 포함한다. 이러한 정보에 기초하여, 시각 전송에 대한 이러한 정보의 디스플레이를 위해 정보 전달 패턴이 생성된다(S504). 이후, 상기 생성된 패턴은 디스플레이 디바이스(10) 상에 제1 컬러로 디스플레이된다(S506). 상기 정보는, 애플리케이션의 요구된 해상도에 의존하는 미리결정된 빈도로 반복적으로 업데이트될 수 있다. 이러한 해상도는, 실시간 방식으로 상기 정보 수신 디바이스에 데이터 센서 정보를 제공하기 위해 필수적일 수 있고 그리고 예를 들어, 오디오 또는 다른 시간 중요 데이터를 나타낼 때, 고품질 데이터를 달성하기 위해 시간 단위당 충분한 샘플 포인트들을 제공하는 것이 필수적일 수 있다. 일부 애플리케이션들에서, 예를 들어, 상기 그래픽 패턴에 표현된 데이터가 상기 카메라에 의해 캡처된 이미지의 나머지와 관련될 때 또는 상기 디스플레이의 캡처된 이미지 프레임에서의 위치가 그래픽 패턴을 통해 데이터로서 전송된 위치와 관련되는 경우들에서, 대기 시간(latency)들은 더 중요하다. 상기 대기 시간은 상기 디스플레이의 응답 시간 및 상기 카메라가 이미지 프레임을 샘플링하는 시간에 의존할 수 있다. 업데이트된 정보는, 디스플레이 디바이스(10)에 정보를 제공하는 위치 확인 디바이스의 움직임, 포착된 사운드들에서의 변화들, 디스플레이 디바이스(10) 또는 별도의 나침반 디바이스의 방향에서의 변화, 가속도계로부터 감지 입력들에서의 변화 등에 응답하여 대안적으로 또는 보완적으로 업데이트될 수 있다. 상기 업데이트된 정보는 수신되고(S508) 그리고 정보 전달 패턴은 이러한 수신된 업데이트된 정보에 기초하여 생성된다(S510). 이후, 이러한 정보 전달 패턴은 디스플레이(12) 상에 제2 컬러로 디스플레이된다. 제2 컬러의 정보 전달 패턴은, 제1 컬러의 정보 전달 패턴이 디스플레이(12) 상에 여전히 표시될 때 디스플레이되고, 따라서, 상기 제1 컬러 및 제2 컬러의 정보 전달 패턴은 디스플레이(12) 상에 동시에 존재한다.
이후, 상기 프로세스는 계속되고 그리고 추가로 업데이트된 정보가 수신된다(S514). 새로운 정보 전달 패턴은 상기 수신된 업데이트된 정보로부터 생성되고(S516), 그리고 제1 컬러의 현재 디스플레이된 정보 전달 패턴은, 제1 컬러로 또한 디스플레이되는 새로운 정보 전달 패턴으로 대체된다(S518). 그 후, 또 다른 정보 업데이트가 수신되고(S520), 그리고 이러한 정보 업데이트로부터 새로운 정보 전달 패턴이 생성된다(S522). 이러한 정보 전달 패턴은 제2 컬러로 디스플레이되고 그리고 이전에 디스플레이된 제2 컬러의 정보 전달 패턴을 대체한다(S524). 이후, 상기 프로세스는 단계들 S514 내지 S524를 다시 수행하기 위해 S514로 되돌아가고, 그 결과, 새로운 업데이트된 정보를 반복적으로 수신하고, 상기 업데이트된 정보로부터 정보 전달 패턴들을 생성하며 그리고 상기 정보 전달 패턴들을, 제1 및 제2 컬러로 각각 교대로 디스플레이한다. 이러한 프로세스는, 사용자, 타이머 또는 실행을 방해하는 다른 프로세스에 의해 종료될 때까지 계속 반복된다.
상기 정보 전달 패턴은 카메라(14)를 사용하여 판독 및 디코딩될 수 있는 어떤 그래픽 코드일 수 있다. 정보 전달 패턴들의 예들은 바코드들, QR 코드들, 인쇄된 텍스트들 등이다. 바코드들과 같은 1차원 그래픽 코드들과 관련하여 QR 코드들과 같은 2차원 그래픽 코드들의 이점은, 2차원 그래픽 코드들은 1차원 그래픽 코드들보다 높은 정보 밀도, 즉, 표면 단위당 더 많은 데이터를 가능하게 한다.
도 2에 관련하여 서술되는 프로세스에서, 제1 정보 전달 패턴은 제1 컬러로 디스플레이되고 그리고 제2 정보 전달 패턴은 제2 컬러로 동일한 디스플레이 상에서 동시에 디스플레이된다. 상기 정보 전달 패턴들 중 하나의 업데이트 동안, 다른 정보 전달 패턴은 디스플레이 디바이스(10) 상에 정적으로 디스플레이된다. 따라서, 최신의 완전히 업데이트된 정보는 항상 판독가능하다.
도 3a 및 도 3b에는 각각, 제1 정보 전달 패턴(550) 및 제2 정보 전달 패턴(552)이 도시된다. 본 발명의 실시예들에 따르면, 2개의 정보 전달 패턴들(550, 552)은, 2개의 정보 전달 패턴들을 동시에 디스플레이 가능하게 하거나 또는 다른 패턴이 업데이트되는 동안 정적 패턴으로서 상기 정보 전달 패턴들 중 하나를 적어도 디스플레이 가능하게 하도록, 상기 2개의 정보 전달 패턴들은 함께 결합되거나 또는 엮여지며, 각 정보 전달 패턴(550, 552)은 별개의 컬러를 갖는다. 2개의 정보 전달 패턴들(550, 552)을 엮는 하나의 방법은, 도 4에 도시되어 있고, 이는 점선들로 표시되는 도 3a 및 3b의 정보 전달 패턴들(550, 552)의 부분들(553)에 대응한다. 2개의 패턴들을 서로 구별하는데 사용되는 컬러들은, 각각 녹색 및 적색일 수 있다. 하지만, 통상의 기술자는 다른 컬러들이 사용될 수 있음을 인식한다.
도 4에 도시된 것처럼 2개의 서로 다른 컬러로 된 정보 전달 패턴들의 엮음(weaving)은, 2개의 패턴들 각각이 디스플레이 면적의 대부분에 걸쳐 디스플레이되도록 하여, 그 결과, 상기 2개의 패턴들이 나란히 배치되는 경우 가능한 한 상기 정보 전달 패턴의 높은 해상도를 가능하게 한다. 따라서, 이러한 배열은, 각각의 전송에 더 많은 정보가 배열되도록 한다. 2개의 정보 전달 패턴들(550, 552)의 엮음은, 각 정보 전달 그래픽 요소, 예를 들어, 이러한 정보 위치의 상태에 따라 정상적으로 백색 또는 흑색으로 착색되어 있는 사각형들의 각각에 대응하는 QR-코드 내의 정보 위치(554)를 더 작은 영역들로 세분되도록 하여 형성되도록 한다. 도 4에서, 각각의 도시된 정보 위치는, 정보 위치(554)를 나타내는 정사각형 내의 작은 정사각형들로 표현된 16개의 작은 영역들로 세분된다. 정보 전달 패턴들(550, 552)의 서로 다른 컬러들은, 도 4에서 서로 다른 해치들로 도시된다. 수직 해치 패턴을 갖는 서브 영역(556)과 같은 서브 영역은 제1 컬러, 예를 들어, 녹색을 나타낼 수 있고, 그리고 경사진 해치 패턴을 갖는 서브 영역(558)과 같은 서브 영역은 제2 컬러, 예를 들어, 적색을 나타낼 수 있다. 정보 위치(554)를 나타내는 동일한 수의 서브 영역들은, 각각, 제1 컬러 및 제2 컬러를 나타낼 수 있고, 도 4에 도시된 바와 같이 정보 위치(554)에 교대로 배치될 수 있다. 따라서, 도 3a 및 도 3b에서 도시된 개별 정보 패턴들로부터의 부분들(533) 각각을 갖는 도 4에서 도시된 조합된 정보 전달 패턴들은, 상기 정보 전달 패턴들 각각에서 대응하는 위치가 백색인 경우 정보 위치(554)가 전부 백색이 되도록 하고, 상기 정보 전달 패턴들 각각의 대응하는 위치로부터 발생하는 두 개의 컬러들의 서브 영역들의 포함하는 정보 위치(554)는 흑색이 되며, 제1 컬러의 서브 영역들 및 흰색 서브 영역들을 포함하는 정보 위치(554)는 도 3a의 제1 컬러 정보 패턴 내의 대응하는 위치가 흑색이고 그리고 도 3b의 제2 컬러 정보 패턴 내의 대응하는 위치가 백색임을 나타내며, 그리고 제2 컬러의 서브 영역들 및 흰색 서브 영역들을 포함하는 정보 위치(554)는 도 3b의 제2 컬러 정보 패턴 내의 대응하는 위치가 흑색이고 그리고 도 3b의 제2 컬러 정보 패턴 내의 대응하는 위치가 백색임을 나타낸다.
이제, 도 5를 참조하면, 본 발명의 실시예들에 따른 정보 수신 프로세스에 대한 흐름도가 도시된다. 이러한 프로세스는, 모션 비디오 카메라에서 또는 프로세싱 유닛 및 모션 비디오 카메라를 포함하는 시스템에서 수행된다. 모션 비디오 카메라는, 모션 비디오 카메라의 이미지 센서에 의해 캡처된 모션 비디오 프레임들을 기록하고 있다(S602). 기록된 이미지 프레임은 정보 전달 패턴의 식별을 위해 분석된다(S604). 정보 전달 패턴의 식별은 통상의 기술자에게 알려진 방식으로 수행되며, 사용되는 그래픽 코드의 타입에 따라 변할 수 있다. 식별된 정보 전달 패턴에서, 제1 컬러를 갖는 정보 위치들이 식별되고 추출되어 제1 정보 전달 패턴을 형성한다(S606). 이후, 제1 컬러의 이러한 정보 전달 패턴은 디코딩되고(S610), 그리고 디코딩된 정보가 손상되지 않았다면(S612), 전송된 정보의 현재 수신자인 애플리케이션에 따라 디코딩된 비-손상 정보를 관리함으로써 프로세스는 계속된다(S618). 애플리케이션은 시스템에서 실행되는 컴퓨터 프로그램이다. 상기에서 언급된 것처럼, 그와 같은 애플리케이션은, 예를 들어, 카메라 위치확인 애플리케이션, 카메라 설정 애플리케이션, 오디오 구성 애플리케이션 등일 수 있다. 이후, 전송된 상기 정보는 적절한 수신자에게 전달되면, 프로세스는 디코딩을 위해 새로운 이미지를 기록하는 단계(S602)로 리턴된다.
하지만, 단계(S610)에서 디코딩된 정보가 손상된 것으로 결정되면(S612), 이후, 제2 컬러를 갖는 상기 정보 전달 패턴의 정보 위치들이 식별되고 추출되어 제2 정보 전달 패턴을 형성한다(S614). 제2 컬러의 이러한 정보 전달 패턴이 디코딩되고(S616), 그리고 이러한 디코딩된 비-손상 정보가 전송된 정보의 현재의 수신자인 애플리케이션에 따라 관리되고(S618), 그리고 상기 프로세스는 S602로 리턴된다.
본 발명의 실시예들은 고정된 감시의 위치를 결정하는 시스템들 및/또는 아래에서 더 상세하게 설명되는 모니터링 카메라에서 사용될 수 있다. 아래의 설명은 또한 위에서 설명한 정보 전달 패턴들에 포함될 내용의 예들 및 상기 정보 전달 패턴들 자체의 추가 사용들을 제공한다. 상기 카메라는 이동성이 없다는 의미에서 고정된다. 즉, 정기적으로 하나의 위치에서 다른 위치로 이동하지 않는다. 하지만, 상기 카메라는 PTZ 카메라, 즉, 패닝과 틸팅이 가능한 카메라일 수 있다.
일 실시예에 따라, 도 6을 참조하면, 디스플레이(12)를 갖는 모바일 디바이스(12)는, 적어도 모바일 디바이스(10)의 지리적 위치를 나타내는 정보를 포함하는 QR-코드를 생성하도록 동작된다. 물론, QR-코드들 이외의 다른 그래픽 코드들, 예를 들어, 어떤 2차원 그래픽 코드, 어떤 1차원 그래픽 코드, 일반 텍스트 등이 사용될 수 있지만, 본 발명의 이해를 용이하도록 하기 위해, 상세한 설명의 나머지 부분의 예시들에서 QR-코드가 사용될 것이다. 모바일 디바이스는 이동 전화, 휴대용 GPS, 태블릿 컴퓨터, 또는 디스플레이 및 필요한 기능적 구성 요소를 갖는 임의의 다른 디바이스일 수 있으며, 이는 실시예들 간에 상이하며 그리고 이하에서 모두 설명될 것이다. QR-코드는 모바일 디바이스(10)의 디스플레이(12) 상에 디스플레이되고 그리고 모바일 디바이스(10)의 디스플레이는 모니터링 시스템 내의 모니터링 카메라(14)에 보여진다. 즉, 모바일 디바이스의 디스플레이 상에 제시된 QR-코드의 이미지를 모니터링 카메라가 캡처하고 검출하기 위해, 모바일 디바이스의 디스플레이는, 상기 모니터링 카메라의 광 입력, 예를 들어, 렌즈에 대면하여 일시적으로 배치된다. 이후, QR-코드는 디코딩되고 그리고 모니터링 카메라는 상기 코드에 제공된 위치 정보로 태그된다. 즉, 지리적 위치 정보는 카메라에 저장되고, 그리고 카메라의 위치로서 식별되거나 또는 이러한 특정 카메라의 위치로서 저장되는 중앙 서버에 저장된다.
도 7에서, 모바일 디바이스(10)의 디스플레이(12) 상에 표시되는 QR-코드(22)의 예가 도시되고, 도면에서 상기 QR-코드는 본 발명에 따른 정보를 전달하지 않지만, QR-코드(22)는 모니터링 카메라 및/또는 모니터링 시스템에 응답할 수 있는 일부 추가적인 파라미터들을 설명하기 위해 포함되는 예이다. 일 실시예에서, QR-코드(22)는, 상기 위치에 추가로, QR-코드(22)의 디스플레이 특정 공간 정보를 포함할 수 있다. 이러한 디스플레이 특정 공간 정보는, 디스플레이(12) 상에 표시되는 QR-코드의 실제 크기 또는 실제 거리에 관한 것일 수 있다. 예를 들어, 디스플레이 특정 공간 정보는 QR-코드(22)의 2개의 코너들 사이의 거리 LQ를 나타낼 수 있고, QR-코드(22) 내의 위치 지시기(P)의 너비(WP) 또는 높이(HP)를 나타낼 수 있다. 디스플레이 특정 공간 정보는, 모니터링 카메라(14)와 모바일 디바이스(10) 사이의 거리를 계산하기 위해 모니터링 카메라(14) 또는 시스템에 의해 사용될 수 있다. 그때, 이러한 계산된 거리는, 모니터링 카메라(14)의 실제 지리적 위치에 더욱 가깝게 대응할 수 있도록, 상기 모너터링 카메라에서 수신되는 모바일 디바이스(10)의 지리적 위치를 조정하기 위해 이용될 수 있다. 디스플레이 특정 공간 정보는 아래에서 논의될 더 많은 조정들 및 계산들에서 사용될 수 있다.
또한, QR-코드는, 모바일 디바이스(10)가 향하는 수평 방향에 관련된 정보를 포함할 수 있다. 상기 방향은, 나침반에서 사용되는 것처럼 북쪽에 관련된 단위로 제공될 수 있고, 그리고 이러한 수평 방향은 모바일 디바이스(10)에 포함되는 전자 나침반에 의해 생성될 수 있다. 수평 방향은, 모니터링 카메라(14)의 팬 각도 또는 방향로서 볼 수 있다. 또한, QR-코드(22)는, 모바일 디바이스(10)가 향하는 수직 방향, 즉, 틸트 각도에 관한 정보를 포함할 수 있다. 이러한 틸트 각도는 모바일 디바이스(10)의 틸트 센서에 의해 발생될 수 있다.
모바일 디바이스(10)의 디스플레이(12)가 모니터링 카메라(14)의 광축에 직각인 면에서 실질적으로 유지되는 경우, 모바일 디바이스(10)에 의해 제공되는 팬 및/또는 틸트 방향들은, 모니터링 카메라의 실제 팬 및/또는 틸트 방향들을 근사시키도록 가정될 수 있다. 이러한 경우, 모바일 디바이스(10)의 후면은 모니터링 카메라(14)와 동일한 방향을 향하도록 배치된다. 사용자가 디스플레이에 대해 실질적으로 직각인 모바일 디바이스(10)의 디스플레이(12)를 유지하기 위해, 모니터링 카메라(14)가 모바일 디바이스(10)의 디스플레이(12) 상의 패턴을 검출할 수 있고 그리고 디스플레이(12) 상에 제시된 패턴 내의 직선들이 실질적으로 직선으로 캡처되었는지 또는 디스플레이(12) 상에 제시된 동일한 크기를 갖는 그래픽 피처들이 실제로 동일한 크기의 피처들로서 캡처되었는지를 검사할 수 있다. 모바일 디바이스(10)의 디스플레이(12)가 광축에 실질적으로 수직임을 모니터링 카메라(14)가 식별할 때, 상기 모니터링 카메라(14)는 신호를 발생시키나 또는 광원을 발광시킬 수 있다. 사용되는 QR-코드(22) 또는 임의의 다른 코드는 이러한 유형의 기준 패턴으로 사용될 수 있다. 또한, QR-코드(22)의 패턴이 정확하게 정렬될 때 상기 모니터링 카메라(14)가 실제 방향을 캡처할 수 있게 모바일 디바이스(10)의 변화하는 방향들을 포함하도록 QR-코드(22)가 빈번하게 변경될 수 있다.
대안적으로, 모니터링 카메라(14)는 QR-코드(22)를 나타내는 패턴을 캡처하고, 그리고 이후 상기 광축과 QR-코드(22)에 주어진 방향 사이의 편차들을 계산한다. 상기 계산은 모니터링 카메라(14)에 의해 캡처된 패턴의 투시 왜곡들에 기초할 수 있다. 그러한 계산들의 예가 아래에서 제시될 것이다.
다른 실시예에서, QR-코드는 롤의 각도를 포함할 수 있다. 본 발명의 서술에서, 롤의 각도는, 하부 또는 상부 디스플레이 에지를 수평면, 즉, 실제 세계의 수평면으로 이동시키기 위해 디스플레이(12)에 수직인 축에 대해 모바일 디바이스(10)가 회전되어야 하는 각도로서 해석되어야 한다. 모니터링 카메라(14)에 대해, 롤의 각도는, 상기 캡처된 이미지의 하부 또는 상부 에지를 수평면, 즉, 실제 세계의 수평면으로 이동시키기 위해 그 광축에 대해 모니터링 카메라(14)가 회전되어야 하는 각도로서 해석되어야 한다. 모바일 디바이스(10)의 롤의 각도는, 일부 실시예들에서, 자이로와 결합하여 가속도계에 의해 검출될 수 있고 그리고 디스플레이(12) 상에서 QR-코드(22)에서 제안될 수 있다. 그 후, 이 정보는 그 롤의 각도를 계산하기 위해 모니터링 카메라(14)에 의해 사용될 수 있다.
더욱이, 일 실시예에서, QR-코드는, 위치 데이터 및 가능하게는 다른 적용가능한 데이터를 모니터링 카메라(14) 및 모니터링 시스템에 제공하도록 인가된 모바일 디바이스(10)로서 모바일 디바이스(10)를 인증하는 암호 코드를 포함한다. 암호화 코드는, 공개 키 암호화, 대칭 키 암호화 또는 임의의 다른 카테고리의 암호화를 사용하여 구현될 수 있다. 다양한 카테코리들의 암호화에서 복수의 잘 알려진 구현들이 존재한다.
QR-코드(22)를 통한 위치 데이터 및 가능하게는 다른 데이터의 전송의 개시는, 모니터링 카메라(14)가 QR-코드(22) 검출 프로세스를 빈번하게 실행하게 함으로써 달성된다. 이러한 방식으로, 모니터링 카메라(14)는 항상 QR-코드를 통해 좌표들 및 다른 데이터를 수신하도록 준비된다. 한가지 단점은, 식별할 QR-코드(22)가 존재하지 않을 때 시스템 자원들이 오랜 시간 동안 낭비된다는 점이다. 따라서, 이러한 방법은, QR-코드들이 다른 목적들을 위해서도 사용되고 그리고 QR-코드 검출 프로세스들을 빈번하게 실행하기 위한 시스템 자원들의 사용이 저렴할 수 있는 그와 같은 높은 빈도에서 이러한 다른 목적들에 대한 QR-코드들의 사용이 수행되는 시스템에서 사용될 수 있다. QR-코드들을 검출하는 프로세스들을 실행하는 빈도는 애플리케이션에 따라 변할 수 있다. 하지만, 사람은 검출을 위해 30초 이상을 기다릴 필요가 없다. 모니터링 카메라(14)가 QR-코드를 검출하였을 때, 모니터링 카메라(14) 상의 일부 지시자, 소리 또는 빛은, 모바일 디바이스(10)를 제어하는 사람에게, QR-코드가 검출되고 그리고 그것의 프로세싱이 시작 또는 종료되었음을 알려야 한다.
대안으로, QR-코드 검출 기간은, 상기 모니터링 네트워크를 제어하기 위해 인증된 디바이스로부터 상기 네트워크를 통해 신호에 의해 개시된다. 상기 시스템은, 모니터링 시스템 내의 모니터링 카메라들(14)을 모니터하는 전부 또는 일부가 상기 기간 동안 미리결정된 간격들로 QR-검출 프로세스를 실행하도록 배치될 수 있다. 바람직하게, 상기 모바일 디바이스를 모니터링 카메라(14)에 디스플레이하는 사용자가 코드가 검출되기 전에 어떤 성가신 대기 시간을 통지하지 않을 정도로 프로세스는 자주 실행되어야 한다. 상기 검출 프로세스가 빈번하게 실행되는 동안, 상기 QR-코드 검출 기간은, 모니터링 시스템의 확장에 따라 특정 시간, 예를 들어, 한 시간 또는 30분으로 설정될 수 있다. 대안으로, QR-코드 검출 기간은, 상기 모니터링 네트워크를 제어하기 위해 인가된 동일한 디바이스로부터 또는 또한 인가되고 있는 다른 디바이스로부터 신호를 전송함으로써 수동으로 종료될 수 있다.
상기 실시예들 중 일부에 따라 상기 모니터링 카메라(14)에 제공되는 정보는, 모니터링 카메라(14)에 의해 또는 모니터링 시스템에 의해 많은 목적들로 사용될 수 있다. 예를 들어, 위치 및 방향 정보는, 위치 모니터링 카메라들(14)을 지도 도는 건물 평면상에 정확하게 위치시키는데 사용될 수 있다. 상기 위치는 상기 모니터링 카메라(14)를 정확한 위치로 끌어 오는데 사용될 수 있다. 상기 팬 방향은 모니터링 카메라(14)에 의해 모니터링되는 영역들의 표시를 끌어 오는데 사용될 수 있다. 이러한 영역의 계산은 상기 카메라에 의해 사용되는 초점 거리를 고려함으로써 개선될 수 있다.
모니터링 카메라(14)의 롤의 각도 및 모니터링 카메라(14)의 틸트 각도는, 경사진 수평 라인들 및 투시 왜곡들을 제거하기 위해 캡처된 이미지를 전기적으로 조정하기 위해 사용될 수 있다.
더욱이, 상기 모니터링 카메라(14)의 위치 및 팬 방향은, 모니터링 카메라들(14) 간의 추적된 객체들의 핸드오버를 용이하게 하거나 또는 모니터링되지 않은 영역들을 식별하기 위해 상기 모니터링 시스템에서 사용될 수 있다.
본 발명의 일 실시예에 따르면, 모니터링 카메라(14)의 위치를 결정하는 프로세스는, 모바일 디바이스(10)가 장착된 사람 또는 장착된 사람 또는 차량을 포함하고, 그리고 상기 모바일 디바이스(10)의 디스플레이(12)는 상기 모니터링 카메라(14) 쪽으로 향하고 있다. 모바일 디바이스(10)가 모니터링 카메라(14)에 의해 캡처되는 상기 모바일 디바이스(10)의 디스플레이를 가지는 위치에 있을 때, 도 8 및 도 9를 참조하여 아래에서 서술되는 프로세스는, 각각, 모니터링 카메라(14)의 위치를 결정하기 위한 예를 나타낸다. 이제, 도 8을 참조하면, 모바일 디바이스(10)는 위치 센서로부터 지리적 좌표를 판독하고 있다. 이러한 지리적 좌표들의 판독은, 디바이스(10)가 스위치 온된 후 계속해서 모바일 디바이스(10)에 의해 수행될 수 있고, 이러한 판독은 프로세스를 포함하는 애플리케이션을 시작하는 디바이스(10)의 사용자에 응답하여 시작할 수 있으며, 그리고 모니터링 카메라(14)의 위치를 결정하는 데 사용되는 모바일 디바이스(10)와 관련하여 시작될 수 있다. 가능한 경우, 모든 실시예들에 해당하는 것이 아니며, 디스플레이(12) 또는 모바일 디바이스(10)의 후면이 향하는 방향은 지향성 센서로부터 판독되며(S304), 틸트 방향은 틸트 센서로부터 판독되며(S306), 그리고 롤 방향은 롤 센서로부터 판독된다(S308). 상기 틸트 방향 및 상기 롤 방향에 대해 사용되는 데이터는 동일한 센서로부터 판독될 수 있다. 이후, 상기 센서들로부터 판독되는 데이터 중 적어도 하나의 포스트를 포함하는 메시지가 모바일 디바이스(10)에서 생성된다(S310). 모바일 디바이스(10)에서 저장된 미리결정된 인증 코드 또는 사용자에 의해 키 인(key in)된 인증 코드도 또한 상기 메시지에 포함된다. 또한, 도 7에 관련하여 논의된 디스플레이 특정 공간 정보는 상기 메시지에 포함될 수 있다. 상기 메시지가 생성될 때, QR-코드(22)로 인코딩되고(S312), 이후, 모바일 디바이스(10)의 디스플레이(12) 상에 디스플레이된다(S314). 이후, 이러한 프로세스는, 가능한 업데이트된 센서 데이터를 포함하는 새로운 QR-코드(22)를 디스플레이하기 위해 새로운 센서 데이터를 판독하도록 리턴한다(S302).
이제 도 9를 참조하면, 모니터링 카메라(14)는 모니터링 카메라(14)의 동작의 일부로서 미리 결정된 레이트로 이미지를 연속적으로 캡처한다(S402). 이후, 현재 캡처된 이미지는 QR-코드(22)에 대해 검사된다(S404). 어떤 QR-코드(22)도 발견되지 않으면(S406), 이후, 상기 프로세스는 S404로 리턴되고, 그리고 이후에 캡처된 이미지는 QR-코드(22)에 대해 검사될 것이다. 이것은, QR-코드(22)가 캡처된 이미지에서 발견될 때까지 반복된다. 연속적으로 캡처된 각각의 이미지는 반드시 QR-코드(22)에 대해 검사되지는 않는다. QR-코드(22)가 발견되면, QR-코드(22)는 모니터링 카메라(14)에 의해 프로세싱될 수 있는 형태로 변환 또는 디코딩된다(S408). 이후, 발생 메시지는 유효한 인증 코드에 대해 검사된다(S410). 어떤 유효한 인증 코드도 발생되지 않으면(S412), 이후, 상기 프로세스는 S404로 리턴되서, QR-코드에 대해 새로운 이미지를 검사한다. 하지만, 인증 코드가 유효하면, 이후, 상기 메시지는 인증된 센서 데이터를 포함하고 그리고 이러한 센서 데이터가 추출된다(S414). 이후, 추출된 센서 데이터 포스트는, QR-코드(22) 내에 포함된 디스플레이 특정 공간 정보와 조합하여 QR-코드(22)의 캡처된 이미지의 분석으로부터 발생된 데이터와 상기 센서 데이터를 결합함으로써, 그 자체로 사용되거나 또는 추가적인 개선을 위해 모니터링 카메라(14)에 저장된다(S416). 이후, 상기 프로세스는, 모니터링 카메라(14)가 일반적인 위치 정보, 예를 들어, 지리적인 좌표들, 수평 방향, 수직 방향 및/또는 롤 방향을 저장하여 종료된다.
본 발명의 프로세스를 수행할 수 있는 모바일 디바이스(10)의 일 실시예는 도 10을 참조하여 이제 설명될 것이다. 모바일 디바이스(10)는, 컬러 디스플레이(12), 모바일 디바이스(10)의 기능들을 정의하는 코드를 실행하도록 구성된 프로세싱 유닛(102), 휘발성 메모리(104), 비-휘발성 메모리(106), 디스플레이(12) 상에 모바일 디바이스(10)의 정보를 나타내기 위해 디스플레이(12)와 모바일 디바이스(10)의 나머지 부분을 인터페이싱하는 디스플레이 드라이버(108), 상기 모바일 디바이스로 데이터를 수동으로 입력하는 입력 수단(110), 일부 지리적 위치 측정 서비스에 액세스하여 상기 모바일 디바이스의 지리적 위치를 획득하기 위한 GPS 수신기(112), 모바일 디바이스(10)가 향하는 방향을 제공하기 위한 나침반(114), 및 하나의 단일 센서일 수 있지만 대안적으로 2개의 개별 센서들일 수 있는 틸트 및 롤 센서(116)를 포함한다. 또한, 본 실시예에 따른 모바일 디바이스(10)는, 프로세싱 유닛(102)에 의해 실행되는 프로그램 모듈로서 구현되는 QR 코드 생성기(118) 및 프로세싱 유닛(102)에 의해 실행되는 프로그램 모듈로서 또한 구현되는 메시지 생성기(102)를 포함한다.
틸트 및 롤 센서(116)는, 적어도 이들 각도들 또는 방향들을 검출하도록 배치된 복수의 가속도계들을 포함하는 모듈일 수 있다. 하지만, 틸트 및 롤 센서(116)는, 또한, 2개의 틸트 센서들, 예를 들어, 전면에서 후면으로의 틸팅을 위한 것, 즉, 틸트 및 측면에서 측면으로의 틸팅을 위한 것, 즉, 롤을 포함할 수 있다.
본 발명의 프로세스를 수행할 수 있는 모니터링 카메라(14)의 일 실시예가 도 11을 참조하여 이제 설명될 것이다. 모니터링 카메라(14)는 임의의 통상적인 모니터링 및/또는 감시 카메라일 수 있다. 본 발명은, 유리하게는, 미리 결정된 영역을 모니터링 또는 감시하는 정지 카메라들에 적용된다. 따라서, 모니터링 카메라(14)는, 보통의 모니터링 카메라의 피처들, 예를 들어, 렌즈(202), 이미지 센서(204), 이미지 프로세서(206), 중앙 프로세싱 유닛(208), 휘발성 메모리(210) 및 비-휘발성 메모리(212)를 포함한다. 추가적으로, 모니터링 카메라(14)는 네트워크 모니터링 카메라일 수 있고, 그리고 이러한 경우, 상기 모니터링 카메라(14)는 물리적 및 논리적 네트워크 인터페이스(214)를 포함한다. 더욱이, 본 발명의 일 실시예의 모니터링 카메라(14)는, QR-코드 디코더(216), 위치 설정 모듈(218), 글로벌 팬 방향 설정 모듈(220), 글로벌 틸트 및 롤 설정 모듈(222)을 포함한다.
상기 QR-디코더(216)는, QR-코드를 나타내는 그래픽들을 프로세싱하고 그리고 모바일 디바이스(10)에서 QR-코드(22)로 인코딩된 메시지를 재생성하도록 배치되며, 이러한 프로세싱은 통상의 기술자에게 알려진 알고리즘들에 의해 수행된다. 다른 그래픽 표현이 사용되는 애플리케이션들에서, 디코더는 대신 이러한 그래픽 표현들에 적용된다. 예를 들어, 상기 코드가 모바일 디바이스의 디스플레이 상에 표시된 일반 텍스트이면, OCR(Optical Character Recognition) 기반 디코더가 대신 구현되고, 그리고 상기 코드가 바코드이면, 바코드 디코더가 대신 구현된다.
위치 설정 모듈(218)은, 나중에 사용하기 위해 및/또는 중앙 서버에 전송하기 위해 모니터링 카메라(14)에 위치를 저장하도록 배치된다. QR-코드(22)에 포함된 디스플레이 특정 공간 정보로부터 계산되는 추가적인 데이터 및 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써, 모니터링 카메라(14)가 위치의 정확성을 증가시키는 경우, 이러한 증가된 정확도 계산들은 또한 위치 모듈(218)에서 수행될 수 있다.
글로벌 팬 방향 설정 모듈(220)은, 모니터링 카메라(14)의 시야 방향을 나타내는 나침반 방향을 나중에 사용하기 위해 및/또는 중앙 서버에 전송하기 위해 모니터링 카메라(14)에 저장하도록 배치된다. QR-코드(22)에 포함된 디스플레이 특정 공간 정보로부터 계산되는 추가적인 데이터 및 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써, 모니터링 카메라(14)가 팬 방향의 정확성을 증가시키는 경우, 이러한 증가된 정확도 계산들은 또한 글로벌 팬 방향 설정 모듈(220)에서 수행될 수도 있다.
글로벌 틸트 및 롤 설정 모듈(222)은, 카메라의 틸트를 나타내는 값 및 모니터링 카메라(14)의 롤을 나타내는 값을 나중에 사용하기 위해 및/또는 중앙 서버에 전송하기 위해 모니터링 카메라(14)에 저장하도록 배치된다. QR-코드(22)에 포함된 디스플레이 특정 공간 정보로부터 계산되는 추가적인 데이터 및 QR-코드(22)의 캡처된 이미지에서 측정되는 피처들을 고려함으로써, 모니터링 카메라(14)가 롤 및/또는 틸트의 정확성을 증가시키는 경우, 이러한 증가된 정확성 계산들은 또한 글로벌 틸트 및 롤 설정 모듈(222)에서 수행될 수도 있다.
모니터링 카메라는 또한 초점 거리 검출기(224)를 포함할 수 있고, 이 초점 거리 검출기(224)는 모니터링 카메라(14)의 광학 시스템(202)의 현재의 초점 거리에 관련된 데이터를 제공하도록 배치된다. 초점 거리 검출기(224)는, 스텝 모터 또는 상기 카메라의 줌 기능을 제어하는 어떤 다른 제어 시스템으로부터의 위치 신호로 구현될 수 있거나, 또는 캡처된 이미지 데이터를 분석하는 모니터링 카메라의 프로세싱 유닛 상에서 실행되는 이미지 분석 방법의 구현일 수 있다. 더욱이, 상기 초점 거리가 변경될 수 없는 시스템들에서, 상기 초점 거리 값은 계산들에서 사용하기 위해 모니터링 카메라에 저장될 수 있다.
상기 캡처된 이미지 내에 QR-코드가 존재하는지 여부의 검출은, 이미지 프로세서(206)에서 수행될 수 있다. 이전의 흐름도들에서 서술된 프로세스들 및 모바일 디바이스(10) 또는 모니터링 카메라(14)의 다른 기능들은, 각각의 디바이스의 프로세싱 유닛들, 예를 들어, 모바일 디바이스(10)의 프로세싱 유닛(102) 및 모니터링 카메라(14)의 중앙 처리 유닛(208)에서 실행되는 프로그램 코드로 구현될 수 있거나, 이러한 프로세스들 또는 기능들은 로직 회로를 사용하여 구현될 수 있다.
일 실시예에 따르면, 모니터링 카메라(14)는 중앙 서버(20)를 포함하는 네트워크에 접속되고, 상기에서 서술한 것처럼 획득된 어떤 위치 및 방향 데이터가, 추가 사용 또는 프로세싱을 위해 이 중앙 서버(20)에 전송될 수 있다. 그와 같은 네트워크 시스템은 또한 본 발명을 구현하는 추가적인 모니터링 카메라들(16)을 포함할 수 있다. 상기 카메라의 위치 및 방향에 관련된 데이터는, 특정 모니터링 카메라의 표현을 평면상에 정확한 위치에서 그리는데 사용될 수 있고, 그리고 카메라 및 카메라가 장착되는 방향으로의 카메라 뷰의 표시를 지시하기 위해 사용될 수 있다.
상기에서 서술한 것처럼, 카메라의 위치 및 방향의 보다 정확한 결정은, QR 코드의 크기 및 형상 또는 모바일 디바이스 상에 디스플레이되는 다른 패턴에 관한 정보를 사용하여, 모바일 디바이스의 위치 및 방향에 기초하여 계산될 수 있다. 예를 들어, 실제 세계의 3D 좌표들과 카메라의 3D 좌표들 간의 관계를 서술하는 호모 그래피(homography)가 사용될 수 있다.
모바일 디바이스의 지리적 좌표가 결정되고, QR 코드를 캡처함으로써 이용가능하며 그리고 QR 코드의 크기 및 형태에 관한 정보가 또한 QR 코드에 포함되면, 모바일 디바이스 및 카메라의 위치 및 방향 사이의 관계가 결정될 수 있다. 따라서, 상기 카메라의 위치는, 상기 카메라와 상기 모바일 디바이스 사이의 위치 및 방향의 차이들을 결정하기 위해 그 자체로 알려진 카메라 교정 절차의 원리들을 이용함으로써, 그리고 상기 모바일 디바이스의 위치 및 방향으로부터 상기 카메라의 위치 및 방향을 결정하기 위해 이러한 차이점들을 사용함으로써 더 정확하게 결정될 수 있다.
QR-코드의 크기 및 형태에 관한 정보가 주어지면, QR-코드의 점들의 위치들(예를 들어, 코너들 또는 위치 지시기들)은 QR 코드 자체의 좌표 시스템에 알려진다. QR 코드의 이미지 내의 점들과 모바일 디바이스 상에 디스플레이되는 QR 코드 내의 대응하는 점들을 매칭함으로써, 좌표 쌍들이 획득된다. 그와 같은 쌍의 좌표들 사이의 관계는 다음의 수식으로 표현된다.
[수학식 1]
(xi, yi) → (Xi, Yi, Zi)
여기서, (xi, yi)는 상기 이미지에서의 2D 좌표들을 나타내고, (Xi, Yi, Zi) 는 실제 세계에서의 3D 좌표들을 나타낸다.
실제의 점들, 예를 들어, 디스플레이된 QR 코드의 점들, 및 이미지 점들, 예를 들어, 카메라에 의해 캡처되는 QR 코드의 점들은 동종 벡터들에 의해 표현될 수 있다. 도 12를 참조하면, 그것의 중심 투영은 선형 변환이며, 이는 다음과 같이 표현될 수 있다.
Figure 112018065988043-pat00001
여기서, f는 상기 카메라의 초점 거리이고,
Figure 112018065988043-pat00002
는 상기 이미지 내의 점의 3D 좌표들을 나타내며, 그리고
Figure 112018065988043-pat00003
는 상기 장면 내의 대응하는 점의 3D 좌표들을 나타낸다.
Figure 112018065988043-pat00004
여기에서 제시된 계산들은 현재의 초점 거리에 대한 사전 지식없이 수행될 수 있지만, 초점 거리가 이미 알려진 경우 상기 계산들은 더 빨라질 것이다. 현재의 초점 거리를 획득하는 방법들의 일부 예시들은 본 명세서에서 후술될 것이다.
Figure 112018065988043-pat00005
로 표시된 이미지 센터를 사용하여 길이들에서 픽셀들로 변환이 행해질 수 있으며, 그리고 kx 및 ky로 표시된, 길이에서 픽셀들로 스케일링하는 스케일링 팩터가 수행될 수 있다. 2개의 하기의 수학식들에서, xpic 및 ypic는 픽셀들에서 측정되는 좌표들을 나타낸다.
Figure 112018065988043-pat00006
길이들로 표시된 상기의 방정식들과 유사하게, 픽셀들로 표시된 하기의 방정식들이 사용될 수 있다.
Figure 112018065988043-pat00007
여기서,
Figure 112018065988043-pat00008
이고.
이는, 픽셀 단위로 주어진 초점 거리로 간주될 수 있다.
상기 픽셀 좌표들은 하기의 수학식으로 표현될 수 있다.
Figure 112018065988043-pat00009
스큐 파라미터 S를 가산하면, 재배열은 다음과 같이 이뤄질 수 있다.
Figure 112018065988043-pat00010
3 x 3 상 삼각 행렬 K는 캘리브레이션 행렬이라고 언급된다. 행렬 K의 파라미터들은 상기 카메라의 고유 파라미터들을 포함하고 그리고 이러한 행렬 K의 파라미터들은 변환 작업에서 중요한 입력이다.
도 13 및 도 14를 참조하면, 이미지 좌표 시스템에서의 장면 점들(xs, ys, zs)과 실제 좌표 시스템에서의 장면 점들(XS, YS, ZS) 사이의 관계는, 이미지 좌표 시스템의 시작점으로부터 실제 좌표 시스템으로의 시작점 변환 벡터 CO=T를 상기 실제 좌표 시스템 내의 점 M을 서술하는 벡터에 부가함으로써 획득될 수 있다.
Figure 112018065988043-pat00011
동종의 좌표들을 사용하면, 이는 다음과 같이 서술될 수 있다.
Figure 112018065988043-pat00012
이는 대안으로 다음과 같이 표현될 수 있다.
Figure 112018065988043-pat00013
Figure 112018065988043-pat00014
는 실제 좌표들에서 표현되는 벡터 OC이다. T 대신에
Figure 112018065988043-pat00015
를 사용하면, 다음의 방정식이 설정될 수 있다:
Figure 112018065988043-pat00016
카메라 투영 행렬 및 좌표 변환 행렬은 하나의 행렬 P로 결합될 수 있다.
[수학식 12]
Figure 112018065988043-pat00017
및
Figure 112018065988043-pat00018
는
Figure 112018065988043-pat00019
를 제공하고,
이는
Figure 112018065988043-pat00020
로서 설명될 수 있거나 또는
Figure 112018065988043-pat00021
이다.
이는 하기와 같이 간략화될 수 있다.
[수학식 13]
Figure 112018065988043-pat00022
Figure 112018065988043-pat00023
이러한 행렬 P는 11개의 자유도를 가지고 있는데, 이 중 5개는 삼각 캘리브레이션 행렬 K로부터, 3개는 R로부터, 그리고 3개는
Figure 112018065988043-pat00024
로부터 나온 것이다. P는 3x4 행렬이고, 좌측 3x3 부분행렬 KR은 정칙이다. P는 장면에서의 점들 및 이미지에서의 대응하는 점들을 사용하여 추정될 수 있다. 캘리브레이션 행렬 K이 이미 알려진 경우, 이러한 추정은 상당히 단순화된다. 하지만, 충분한 수의 쌍들을 사용하여, 캘리브레이션 행렬이 아직 알려지지 않은 경우라도 P는 추정될 수 있다.
카메라 변환을 결정하기 위해, 장면에서의 c의 동일한 좌표들이 발견되어야 한다. C는 메트릭스 P의 널 벡터이다. 따라서:
Figure 112018065988043-pat00025
P의 널 벡터 C는 특이값 분해를 사용하여 발견될 수 있다.
또한, 카메라 방향 및 고유 파라미터들이 발견될 수 있다. 여기에서, P의 좌측 3x3 서브메트릭스 M은 M=KR의 형태임을 알 수 있다. K는 상 삼각 행렬 및 R은 직교 행렬이다. 비특이적 행렬 M은 RQ 인수분해를 사용하여 K와 R의 곱으로 분해될 수 있다. 이미 언급된 바와 같이, 캘리브레이션 행렬 K가 이미 알려져 있다면, 즉, 카메라가 켈리브레이션되면, 계산들은 단순화된다.
메트릭스 P는, 세계 좌표 시스템에서 3D 점들 X i 및 상기 이미지에서 X i 의 대응하는 이미지들 x i 을 취하고, 그리고 모든 i에 대해 x i = PX i 를 기입함으로써 계산될 수 있다. 그때, 이러한 행렬 P는, 상기 행렬 P로부터 계산되는 파라미터들에 의해 조정된 모바일 디바이스 상에 디스플레이되는 QR-코드에 기술된 바와 같이 모바일 디바이스의 위치에 기초하여 카메라의 위치 및 방향을 계산하기 위해 사용될 수 있다. 카메라에 의해 캡처되는 이미지 면 외부의 3차원 세계에 관련된 좌표들, 즉, 실제 세계 좌표들 내의 QR-코드에 관련된 카메라의 위치가 행렬 C에 제공되고, 그리고 실제 세계 좌표들의 3개의 축들에 관련된 카메라의 회전, 즉, 이러한 축들 관점에서 상기 카메라의 회전은 행렬 R에 제공된다.
그와 같은 계산들은, 예를 들어, 오픈CV(OpenCV) 또는 맷랩(Matlab)에 카메라 교정 툴박스에서 이용가능한 소프트웨어 코드를 사용하여 수행될 수 있다.
상기 시스템, 즉, 렌즈의 초점 거리는, 상기의 P 행렬로부터 추출될 수 있다. 하지만, 계산 속도를 높이고 그리고 상기의 행렬들을 해결하는데 필요한 처리 전력이 적기 때문에, 초점 거리는 미리 제공될 있다. 이러한 경우, 초점 거리는, 예를 들어, 고정된 초점 거리 렌즈를 갖는 시스템에서 미리 설정되거나 또는 입력될 수 있다. 대안적으로, 상기 모니터링 카메라는 자동 초점 거리 결정 방법을 사용할 수 있다. 사용중인 렌즈의 초점 거리를 확인하기 위해 설계된 많은 방법들이 존재한다. 그와 같은 방법의 일 예는, 도 15를 참조하여, 하기의 식으로 표현된 근사를 사용한다.
Figure 112018065988043-pat00026
이 방정식에서, h1는 높이 H를 갖는 객체의 캡처된 높이, 예를 들어, 도 7의 그래픽 코드의 길이 LQ 또는 전체 모바일 디바이스의 높이이다. L1은 카메라로부터 상기 객체까지의 거리이고, f는 사용중인 렌즈의 초점 거리이다. 이미지 센서 상에서 캡처된 대상의 높이 h1가 카메라로부터의 제1 거리 L1에서 카메라에 의해 결정되는 경우, 상기 초점 거리 f는 계산될 수 있고, 이후, 이미지 센서 상에서 캡처된 대상의 높이 h2가 제2 거리 L2에서 카메라에 의해 결정된다. 도 16 참조.
Figure 112018065988043-pat00027
이것을 달성하기 위해, 상기 객체의 이미지들의 2개의 캡처들 사이에서 이동되는 거리는 추정되고, 이하 d로 언급된다.
Figure 112018065988043-pat00028
상기 객체의 실제 높이는 위치들과 관계없이 동일하며, 다음과 같이 된다.
Figure 112018065988043-pat00029
Figure 112018065988043-pat00030
그때,
Figure 112018065988043-pat00031
이는 아래의 초점 거리 방정식을 발생시킨다.
Figure 112018065988043-pat00032
따라서, 2개의 서로 다른 캡처 순간들에서 그래픽 코드 사이의 미리결정된 거리에서 상기 그래픽 코드의 2개의 이미지들을 캡처함으로써, 상기 카메라는 초점 거리를 계산할 수 있다.
다른 실시예들에서, 모니터링 카메라(14)의 위치는, 상기 모바일 디바이스를 모니터링 카메라(14)와 접촉 상태로 유지함으로써 결정될 수 있다. 모바일 디바이스(10)는 모니터링 카메라(14)와 실질적으로 동일한 지리적 위치에 위치되도록 하기 위해 상기 모바일 디바이스(10)는 렌즈의 전면 상에 유지될 수 있고, 그리고 모바일 디바이스(10)의 후면 또는 전면이 모니터링 카메라(14)의 렌즈의 외측 테두리와 동일 평면상에 유지되면, 그때, 모바일 디바이스(10)의 방향 및 모니터링 카메라의 방향은 실질적으로 대응할 것이다. 더욱이, 모니터링 카메라(14)의 롤 각이 모바일 디바이스(10)의 롤 각과 실질적으로 대응하도록 하기 위해, 이동 전화의 실질적으로 직선인 에지가 모니터링 카메라(14)의 실질적으로 직선인 피처와 시각적으로 정렬될 때까지 모바일 디바이스(10)를 보유하는 사용자는 모바일 디바이스(10)의 롤의 각도를 변경시킬 수 있다. 예를 들어, 사용자는, 모니터링 카메라(14)의 상부 에지 또는 표면에 평행한 모바일 디바이스의 상부 에지를 유지하는 것을 목표로 할 수 있다. 모바일 디바이스(10)가 상기에서 서술된 것처럼 제자리에서 유지될 때, 사용자는, 모바일 디바이스(10)에 의해 검출된 지리적 위치, 방향 및 롤의 각도 중 임의의 하나 또는 임의의 조합을 적어도 일시적으로 저장하기 위한 프로세스를 촉발시킨다(trigger). 이러한 저장 프로세스는, 사용자가 모바일 디바이스(10) 상의 버튼을 누름으로써 또는 어떤 다른 가능한 트리거링 동작을 행함으로써 트리거될 수 있다. 모바일 디바이스(10)는, 상기에서 서술된 모바일 디바이스의 디스플레이(12) 상에서 디스플레이하기 위한 그래픽 코드(22)를 생성한다. 상기 그래픽 코드(22)는, 저장된 데이터, 예를 들어, 지리적 위치, 방향 및/또는 롤의 각도 중 적어도 일부를 포함한다. 본 명세서의 앞에서 설명한 바와 같이, 그래픽 코드는 QR-코드일 수 있다. 모바일 디바이스(10)는 모니터링 카메라(14)의 렌즈로부터 일정 거리 이동되고, 이 모바일 디바이스(10)의 디스플레이는 모니터링 카메라(14) 자체에 의해 캡처될 수 있다. 이후, 모니터링 카메라는 그래픽 코드를 디코딩할 수 있고, 그리고 그래픽 코드에 인코딩되는 피처들에 따라, 지리적 위치, 시야 방향 및/또는 롤의 각도를 결정할 수 있다.
롤의 각도는 이러한 설정에서 동적일 수 있다. 즉, 모바일 디바이스(10)가 위치 데이터의 나머지를 저장하기 위해 트리거될 때 캡처된 값에 롤의 각도는 고정되지 않을 것이다. 그 후, 모니터링 카메라(14)는 이전에서 서술한 바와 같이 롤 데이터의 각도에 대해 동작할 수 있고, 상기 롤 데이터의 각도 및 그에 따른 QR-코드는 빈번하게 업데이트된다.
다른 실시예들에서, 상기의 프로세스들은, 모니터링 카메라(14)를 설치하거나 서비스하는 사람이 캡처된 이미지에서 수평 레베을 얻는 것을 돕기 위해 사용될 수 있다. 모바일 디바이스(10)는 상기의 어떤 실시예에서 서술된 바와 같이 카메라의 전면에 유지된다. 모바일 디바이스의 디스플레이(12) 상에 표시된 그래픽 코드는, 모바일 디바이스(10)의 롤의 각도에 관련된 정보로 빈번하게 업데이트된다. 카메라는, 그래픽 코드의 캡처된 이미지 및 그래픽 코드에 의해 운반되는 디코딩된 정보에 기초하여 롤의 각도 자체를 계산한다. 즉, 모니터링 카메라는 캡처된 이미지 및 모바일 디바이스(10)로부터 제공되는 정보에 기초하여 롤의 각도를 계산한다. 모니터링 카메라의 결과적인 롤의 각도는, 예를 들어, 모니터링 카메라 자체에 의해 또는 상기 카메라에 연결된 네트워크 내의 연산 디바이스에 의해 평가되고, 그리고 모니터링 카메라(14)에 의해 생성되는 소리 또는 광은, 롤의 각도가 허용가능한지 여부를 표시하기 위해 제어된다. 롤의 각도가 허용가능하거나 또는 허용되지 않음을 나타내기 위해, 소리 또는 광은 생성될 수 있다.
그와 같은 구현의 이해를 용이하게 하도록, 일 예가 제시될 것이다. 상기 모바일 디바이스는, 그래픽 코드를 보여주는 모니터링 카메라(14)의 앞에 유지되어 카메라에 의해 캡처될 수 있다. 카메라가 모니터링 카메라의 광축 주변으로 그리고 수평에 관하여 기울어져 있으면, 발광 다이오드(LED)가 광을 방출하도록 활성화된다. 이후, 카메라를 설치 또는 정비하는 사람은, LED가 빛을 발하는 것을 멈출 때 까지 광축을 중심으로 카메라를 회전시킬 수 있고, 이는 롤의 각도가 허용가능하다는 것을 나타낸다.
카메라의 위치를 결정할 때 높은 정확도가 요구되는 경우, 모바일 디바이스가 카메라 앞에서 이동될 때, 모바일 디바이스 상에서 디스플레이되는 QR-코드 또는 다른 패턴은 업데이트될 필요가 있다. 하지만, 카메라가 이미지를 캡처하는 프레임 레이트가 모바일 디바이스의 디스플레이의 업데이트 빈도와 반드시 동기화되는 것은 아니기 때문에, 이는 불완전하거나 또는 깨진 QR-코드들을 캡처할 위험이 있다. 모바일 디바이스의 디스플레이를 업데이트할 때 캡처된 이미지에는 오래된 QR-코드 및 새로운 QR-코드가 혼합될 수 있다. 불완전 코드들을 캡처하는 문제점을 감소시키기 위해, 모바일 디바이스의 디스플레이의 업데이트 빈도가 감소될 수 있어, 상기 디스플레이 상의 패턴은 카메라의 프레임 레이트보다 초당 더 적은 횟수로 업데이트된다. 예를 들어, 상기 디스플레이는, 상기 카메라에 의해 캡처되는 2개 또는 3개의 프레임들에 대응하는 간격들로 업데이트될 수 있다. 계속해서, 이는, 카메라의 위치의 결정의 정확도를 감소시키고 그리고 QR-코드 이미지의 불필요한 중복을 처리할 수도 있다.
대신에, 불완전한 QR-코드들의 캡처할 위험성은, 상기에서 논의한 바와 같이, 상기 카메라와 상기 디스플레이의 서로 다른 컬러 채널들을 활용함으로써 감소될 수 있다. 상기 QR-코드가 업데이트될 때, 녹색 색상 채널에서만 먼저 업데이트되고, 적색 및 청색 색상 채널에서는 이전 QR 코드가 계속 표시된다. 다음에, QR-코드가 업데이트될 때, 적색 및 청색 컬러 채널들은 이전과 동일한 QR-코드를 디스플레이한다. 따라서, 디스플레이는, 모바일 디바이스의 최신 결정된 위치에 대응하는 QR-코드를 디스플레이하는 하나 또는 두 개의 컬러 채널들 및 상기 모바일 디바이스의 이전에 결정된 위치에 대응하는 상기 QR-코드를 디스플레이하는 다른 하나 또는 두 개의 컬러 채널들과 함께 두 개의 QR-코드들을 동시에 디스플레이할 것이다. 또한, 상기 컬러 채널들 중 하나(예를 들어, 적색)를 업데이트하고, 이후, 다른 컬러 채널(예를 들어, 녹색)을 업데이트하며, 그리고 최종적으로 마지막 컬러 채널(예를 들어, 청색)을 업데이트하는, 3단계 프로세스로서 업데이트를 T행하는 것이 가능할 수 있다. QR-코드를 지리적 위치로 변환하는 것은, 카메라 하나에서 수행되거나, 또는 2개가 적용될 경우 한번에 컬러 채널에서 수행된다. 캡처된 이미지의 컬러 채널들 중 하나에 불완전하거나 또는 혼합된 QR-코드가 포함되어 있으면, 다른 컬러 채널 또는 채널들은 여전히 상기 카메라의 위치를 결정하는데 사용될 수 있다. 유리하게는, QR-코드는 카메라에 의해 캡처되는 각 이미지에 한 번만 위치될 필요가 있으며, 이후, 디코딩되거나 또는 위치로 두 번(또는 업데이트가 분할되는 컬러 채널들의 수에 따라 세 번), 즉, 적용가능한 컬러 채널당 한 번 변환된다.
통상의 기술자는, 그와 같은 업데이트 접근법이 QR-코드들에 제한되지 않고, 앞서 논의된 바와 같이 모든 종류의 패턴들과 함께 사용될 수 있음을 알 것이다. 이러한 접근법은, 또한, RGB(적, 녹, 청) 컬러 공간으로 제한되지 않지만, 가까이에 있는 모바일 디바이스와 카메라의 조합에 의해 사용되는 어떤 색 공간과 함께 사용될 수 있다.
대안의 실시예에서, 본 명세서에서 설명된 바와 같이, 정보의 전송을 위한 서로 다른 컬러의 그래픽 코드들을 사용하는 시각 전송은, 또한, 도 1의 라우드스피커로 표시된 것처럼, 오디오 캘리브레이션 시스템 및 프로세스에서 사용될 수 있다. 라우드스피커(16)에 의한 오디오의 생성을 제어하는 프로세싱 디바이스에 연결된 라우드스피커(16) 및 모션 비디오 카메라(14)의 배치는, 상기 라우드스피커(16)에 전기 오디오 신호를 생성하는 상기 시스템의 설정들을 캘리브레이트하기 위해 사용될 수 있다.
디스플레이 디바이스(10)의 마이크로폰, 또는 상기 디스플레이 디바이스(10)에 연결된 마이크로폰은, 마이크로폰의 위치에서 상기 오디오를 기록하고, 등록된 오디오를 분석하고, 그리고 디스플레이 디바이스(10)의 디스플레이(12) 상에 기록된 오디오에 관련한 정보를 연속적으로 제시한다. 모션 비디오 카메라(14)는 디스플레이 디바이스(12)의 모션 비디오를 캡처하고 그리고 정보 전달 패턴은 이전에 서술된 것처럼 디코딩된다. 정보 전달 패턴을 통해 전송된 정보는, 이후, 라우드스피커의 파라미터들을 설정하는데 사용될 수 있다. 상기 정보 전달 패턴을 통해 전송될 수 있는 기록된 오디에 관련한 정보는, 미리결정된 기간을 통해 검출된 음성 레벨의 평균값(빈번하게 업데이트될 수 있는 평균값임), 일정 기간에 걸친 기록된 사운드 웨이브를 나타내는 데이터 등일 수 있다. 오디오 시스템은, 오디오 신호에 대해 적절한 레벨의 증폭을 설정하기 위한 정보를 사용할 수 있다. 그와 같은 오디오 시스템의 예는, EP-3 018 917에 개시되어 있다.

Claims (16)

  1. 반복적으로 변화하는 정보의 시각적 전송을 위한 방법으로서,
    동작들의 세트를 반복적으로 수행하는 단계를 포함하고, 상기 동작들의 세트는:
    전송할 제1 세트의 정보를 수신하는 단계 - 상기 제1 세트의 정보는 이전에 수신된 세트의 정보의 업데이트이며 - 와;
    상기 제1 세트의 정보를 나타내는 정보 전달 제1 패턴을 생성하는 단계와;
    상기 정보 전달 제1 패턴을 제1 컬러로 디스플레이하는 단계와;
    전송할 제2 세트의 정보를 수신하는 단계 - 상기 제2 세트의 정보는 상기 제1 세트의 정보의 업데이트이며 - 와;
    상기 제2 세트의 정보를 나타내는 정보 전달 제2 패턴을 생성하는 단계와; 그리고
    상기 정보 전달 제2 패턴을 제2 컬러로 디스플레이하는 단계를 포함하고,
    상기 제2 컬러는 상기 제1 컬러와 서로 다르며,
    상기 정보 전달 패턴들 중 하나는 상기 정보 전달 패턴 중 다른 하나가 업데이트될 때 정적으로 디스플레이되는 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  2. 제1항에 있어서,
    상기 정보 전달 패턴은 1차원 그래픽 코드를 형성하는 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  3. 제2항에 있어서,
    상기 1차원 그래픽 코드는 바코드인 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  4. 제1항에 있어서,
    상기 정보 전달 패턴은 2차원 그래픽 코드를 형성하는 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  5. 제4항에 있어서,
    상기 2차원 그래픽 코드는 QR 코드인 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  6. 제1항에 있어서,
    상기 정보 전달 제1 패턴 및 상기 정보 전달 제2 패턴은 동일한 디스플레이 영역에서 섞여(interweave)있는 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  7. 제1항에 있어서,
    각각의 반복에서,
    전송할 제3 세트의 정보를 수신하는 단계 - 상기 제3 세트의 정보는 상기 제2 세트의 정보의 업데이트이며 - 와;
    상기 제3 세트의 정보를 나타내는 정보 전달 제3 패턴을 생성하는 단계와; 그리고
    상기 정보 전달 제3 패턴을 제3 컬러로 디스플레이하는 단계를 더 포함하고,
    상기 제3 컬러는 상기 제1 컬러 및 상기 제2 컬러와 서로 다른 것을 특징으로 하는
    반복적으로 변화하는 정보의 시각적 전송을 위한 방법.
  8. 시각적으로 전송되고 그리고 반복적으로 업데이트되는 정보를 캡처 및 디코딩하는 방법으로서,
    동작들의 세트를 반복적으로 수행하는 단계를 포함하고, 상기 동작들의 세트는:
    서로 다른 컬러의 적어도 2개의 정보 전달 패턴들을 포함하는 디스플레이의 이미지를, 디지털 이미지 센서에 의해 캡처하는 단계와;
    상기 캡처된 이미지로부터 제1 컬러의 정보 전달 패턴을 추출하는 단계와;
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와;
    상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계와; 그리고
    상기 추출된 제2 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계를 포함하고,
    상기 제2 컬러의 추출된 패턴의 디코딩은, 손상된 데이터를 리턴하는 상기 제1 컬러의 추출된 패턴의 디코딩에 응답하여 수행되는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
  9. 제8항에 있어서,
    상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계는, 손상된 데이터를 리턴하는 상기 제1 컬러의 추출된 패턴의 디코딩에 응답하여 수행되는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
  10. 제8항에 있어서,
    상기 캡처된 이미지로부터 제3 컬러의 정보 전달 패턴을 추출하는 단계 및 상기 제3 컬러의 추출된 패턴을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
  11. 제8항에 있어서,
    상기 제1 컬러의 추출된 패턴 및 상기 제2 컬러의 추출된 패턴 중 하나의 정보가 손상되었음을 검출하는 단계와;
    검출하는 것에 응답하여,
    상기 제2 컬러의 추출된 패턴이 손상된 것으로 검출될 때, 상기 제1 컬러의 추출된 패턴으로부터의 정보를 유효한 정보로서 선택하는 단계와; 그리고
    상기 제1 컬러의 추출된 패턴이 손상된 것으로 검출될 때, 상기 제2 컬러의 추출된 패턴으로부터의 정보를 유효한 정보로서 선택하는 단계를 더 포함하는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
  12. 이미지 캡처 디바이스 및 디스플레이 디바이스를 포함하는 시스템으로서,
    상기 디스플레이 디바이스는 제1 세트의 동작들을 반복적으로 수행함으로써 반복적으로 업데이트된 정보를 디스플레이하도록 구성되며, 상기 제1 세트의 동작들은:
    전송할 제1 세트의 정보를 수신하는 단계 - 상기 제1 세트의 정보는 이전에 수신된 세트의 정보의 업데이트이며 - 와;
    상기 제1 세트의 정보를 나타내는 정보 전달 제1 패턴을 생성하는 단계와;
    상기 정보 전달 제1 패턴을 제1 컬러로 디스플레이하는 단계와;
    전송할 제2 세트의 정보를 수신하는 단계 - 상기 제2 세트의 정보는 상기 제1 세트의 정보의 업데이트이며 - 와;
    상기 제2 세트의 정보를 나타내는 정보 전달 제2 패턴을 생성하는 단계와; 그리고
    상기 정보 전달 제2 패턴을 제2 컬러로 디스플레이하는 단계를 포함하고,
    상기 제2 컬러는 상기 제1 컬러와 서로 다르며,
    상기 정보 전달 패턴들 중 하나는 상기 정보 전달 패턴 중 다른 하나가 업데이트될 때 정적으로 디스플레이되며,
    상기 이미지 캡처 디바이스는 제2 세트의 동작들을 반복적으로 수행함으로써 상기 디스플레이되고 반복적으로 업데이트되는 정보를 캡처 및 디코딩하도록 구성되고, 상기 제2 세트의 동작들은:
    서로 다른 컬러의 적어도 2개의 정보 전달 패턴들을 포함하는 디스플레이의 이미지를, 디지털 이미지 센서에 의해 캡처하는 단계와;
    상기 캡처된 이미지로부터 제1 컬러의 정보 전달 패턴을 추출하는 단계와;
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와;
    상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계와; 그리고
    상기 추출된 제2 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계를 포함하는 것을 특징으로 하는
    이미지 캡처 디바이스 및 디스플레이 디바이스를 포함하는 시스템.
  13. 제12항에 있어서,
    상기 디스플레이 디바이스는 휴대용 모바일 디스플레이 디바이스이고 그리고 상기 이미지 캡처 디바이스는 모션 비디오 카메라인 것을 특징으로 하는
    이미지 캡처 디바이스 및 디스플레이 디바이스를 포함하는 시스템.
  14. 제13항에 있어서,
    상기 반복적으로 업데이트되는 정보는 상기 휴대용 모바일 디스플레이의 위치 좌표들을 포함하는 것을 특징으로 하는
    이미지 캡처 디바이스 및 디스플레이 디바이스를 포함하는 시스템.
  15. 시각적으로 전송되고 그리고 반복적으로 업데이트되는 정보를 캡처 및 디코딩하는 방법으로서,
    동작들의 세트를 반복적으로 수행하는 단계를 포함하고, 상기 동작들의 세트는:
    서로 다른 컬러의 적어도 2개의 정보 전달 패턴들을 포함하는 디스플레이의 이미지를, 디지털 이미지 센서에 의해 캡처하는 단계와;
    상기 캡처된 이미지로부터 제1 컬러의 정보 전달 패턴을 추출하는 단계와;
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계와;
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 디코딩된 정보가 손상되었는지를 검사하는 단계와;
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 디코딩된 정보가 손상되지 않은 경우,
    상기 정보의 수신자인 애플리케이션에 따라 상기 추출된 제1 컬러의 정보 전달 패턴으로부터 상기 디코딩된 정보를 관리하는 단계와; 그리고
    상기 추출된 제1 컬러의 정보 전달 패턴으로부터의 디코딩된 정보가 손상된 경우,
    상기 캡처된 이미지로부터 제2 컬러의 정보 전달 패턴을 추출하는 단계,
    상기 추출된 제2 컬러의 정보 전달 패턴으로부터 정보를 디코딩하는 단계, 및
    상기 정보의 수신자인 애플리케이션에 따라 상기 추출된 제2 컬러의 정보 전달 패턴으로부터 상기 디코딩된 정보를 관리하는 단계를 포함하는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
  16. 제15항에 있어서,
    상기 캡처된 이미지로부터 제3 컬러의 정보 전달 패턴을 추출하는 단계 및 상기 제3 컬러의 추출된 패턴을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는
    정보를 캡처 및 디코딩하는 방법.
KR1020180077844A 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템 KR102019412B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP15168222.6A EP3096290B1 (en) 2015-05-19 2015-05-19 Method and system for determining camera pose
KR1020160055252A KR20160136233A (ko) 2015-05-19 2016-05-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템
KR1020160055252 2016-05-04
JP2016096203A JP6484587B2 (ja) 2015-05-19 2016-05-12 カメラの空間特性を決定する方法及びシステム
JPJP-P-2016-096203 2016-05-12
EP16199538.6 2016-11-18
EP16199538.6A EP3242245B1 (en) 2015-05-19 2016-11-18 Method and system for transmission of information

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170055280A Division KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180081028A KR20180081028A (ko) 2018-07-13
KR102019412B1 true KR102019412B1 (ko) 2019-09-06

Family

ID=53268640

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160055252A KR20160136233A (ko) 2015-05-19 2016-05-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템
KR1020180077844A KR102019412B1 (ko) 2015-05-19 2018-07-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020160055252A KR20160136233A (ko) 2015-05-19 2016-05-04 카메라의 공간적 특성들을 결정하는 방법 및 시스템
KR1020170055280A KR101913371B1 (ko) 2015-05-19 2017-04-28 정보의 전송을 위한 방법 및 시스템

Country Status (6)

Country Link
US (2) US10373035B2 (ko)
EP (2) EP3096290B1 (ko)
JP (2) JP6484587B2 (ko)
KR (3) KR20160136233A (ko)
CN (2) CN106169184A (ko)
TW (2) TWI718150B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881378B2 (en) * 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
KR102568996B1 (ko) * 2016-08-25 2023-08-21 한화비전 주식회사 감시카메라 설정 방법과 감시카메라 관리 방법 및 시스템
KR101993512B1 (ko) * 2017-04-21 2019-09-30 성균관대학교산학협력단 스크린-카메라 통신을 위한 암호화 코드 출력 방법 및 장치
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US10740666B2 (en) * 2018-09-27 2020-08-11 Caleb J. Webster Two-dimensional cryptographic poly-chromatic poly-digital code
KR102604170B1 (ko) * 2018-09-27 2023-11-20 삼성전자주식회사 전자 장치 및 그 제어 방법
FI130829B1 (fi) * 2019-01-02 2024-04-12 Procemex Oy Ltd Menetelmä koneluettavan koodin käyttämiseksi kameran ohjaamiseen havaitsemaan ja tarkkailemaan kohteita
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN110300286A (zh) * 2019-07-17 2019-10-01 维沃移动通信有限公司 一种图像显示方法及终端
CN114730212A (zh) * 2019-12-05 2022-07-08 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
FI129144B (fi) * 2020-04-03 2021-08-13 Doop Oy Laitteen asetusten määrittäminen halutuiksi
US11610088B1 (en) * 2020-04-07 2023-03-21 Apple Inc. Time varying visual marker verification and decoding
JP7456911B2 (ja) * 2020-10-13 2024-03-27 株式会社日立製作所 情報処理システム及び情報処理装置
CN113345028B (zh) * 2021-06-01 2022-04-26 亮风台（上海）信息科技有限公司 一种确定目标坐标变换信息的方法与设备
US11861864B2 (en) 2021-07-23 2024-01-02 Vgis Inc. System and method for determining mediated reality positioning offset for a virtual camera pose to display geospatial object data
CN113605276B (zh) * 2021-10-08 2022-01-25 中交第一公路勘察设计研究院有限公司 一种公路用雷视一体机的辅助安装装置和角度校准方法
WO2023138747A1 (en) * 2022-01-18 2023-07-27 Robert Bosch Gmbh Method for a configuration of a camera, camera arrangement, computer program and storage medium

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285585A (ja) * 1997-04-10 1998-10-23 Matsushita Electric Ind Co Ltd 監視カメラおよび監視カメラシステム
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
JP2003324713A (ja) * 2002-05-01 2003-11-14 Matsushita Electric Ind Co Ltd 映像システムおよびカメラ装置
KR100678169B1 (ko) 2004-10-28 2007-02-02 삼성전자주식회사 서로 이격된 두 단말기 사이의 데이터 전송 시스템 및 방법
US7543748B2 (en) 2005-02-16 2009-06-09 Pisafe, Inc. Method and system for creating and using redundant and high capacity barcodes
US8531521B2 (en) 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
JP4404913B2 (ja) 2007-01-23 2010-01-27 Ｎｅｃインフロンティア株式会社 バーコード読取装置及び読取方法
US8055887B2 (en) 2008-03-07 2011-11-08 International Business Machines Corporation Dynamically updating barcode data
JP5136302B2 (ja) 2008-03-27 2013-02-06 株式会社デンソーウェーブ 二次元コード、二次元コード生成方法、二次元コードを表示させるコンピュータ読み取り可能なプログラム、二次元コードを利用した認証方法、及び二次元コードを利用した情報提供方法
JP2010114584A (ja) * 2008-11-05 2010-05-20 Mitsubishi Electric Corp カメラ装置
BRPI1008335A2 (pt) * 2009-02-10 2016-02-23 Ind Origami Inc folha de material com estruturas de controle de curvatura e método
GB0903063D0 (en) 2009-02-24 2009-04-08 Geotate Bv automatic configuration
US8720780B2 (en) 2009-04-08 2014-05-13 Blackberry Limited Systems, devices, and methods for displaying a barcode at a computing device
US8186572B2 (en) 2009-07-02 2012-05-29 Barcode Graphics Inc. Systems and methods for animating barcodes
JP5347847B2 (ja) 2009-08-31 2013-11-20 株式会社リコー 画像撮影装置、通信確立方法、プログラム
TW201113815A (en) * 2009-10-09 2011-04-16 Primax Electronics Ltd QR code processing method and apparatus thereof
JP5378181B2 (ja) * 2009-12-07 2013-12-25 株式会社日立製作所 システム、システム構築方法、管理端末、プログラム
US20120012731A1 (en) * 2010-07-16 2012-01-19 Esw Inc. Fastenerless Engine Exhaust Component Suspension Device
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
EP2469467A1 (en) 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
US9015806B2 (en) 2011-10-07 2015-04-21 Maxim Integrated Products, Inc. Sending digital data visually using mobile display and camera sensor
US8821277B2 (en) 2011-12-16 2014-09-02 Wesley John Boudville Colour barcodes and cellphone
CN102546174A (zh) * 2011-12-20 2012-07-04 贾松仁 二维码加密/解密方法和防伪方法
JP2013145996A (ja) * 2012-01-16 2013-07-25 Hitachi Ltd 監視カメラシステムおよび情報設定端末
EP2639738A1 (de) 2012-03-13 2013-09-18 Siemens Aktiengesellschaft Verfahren und Lesegerät zur Erfassung einer Mehrzahl nacheinander auf eine Anzeigevorrichtung dargestellter zweidimensionaler Codes
US9253728B2 (en) * 2012-04-30 2016-02-02 Apple Inc. Operating geographic location systems
US8879832B2 (en) 2012-06-26 2014-11-04 Xerox Corporation Color matrix code
EP2709058B1 (en) 2012-07-18 2015-09-02 AGT International GmbH Calibration of camera-based surveillance systems
WO2014022905A1 (en) * 2012-08-10 2014-02-13 Research In Motion Limited Stacked device position identification
TW201435830A (zh) * 2012-12-11 2014-09-16 3M Innovative Properties Co 不顯眼之光學標籤及其方法
US20140211018A1 (en) * 2013-01-29 2014-07-31 Hewlett-Packard Development Company, L.P. Device configuration with machine-readable identifiers
CN103280153A (zh) * 2013-05-24 2013-09-04 南京邮电大学 一种基于qr码的移动终端定位方法
JP2014235676A (ja) 2013-06-05 2014-12-15 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 二次元カラーコード表示装置、及びその表示方法、二次元カラーコード読み取り装置、及びその読み取り方法
US20150035846A1 (en) 2013-08-02 2015-02-05 Alex Ioannidis Scannable time-varied geometric representation of data
EP2858010A1 (en) * 2013-10-01 2015-04-08 Inventio AG Data transmission using optical codes
US9506761B2 (en) * 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
US9786276B2 (en) * 2014-08-25 2017-10-10 Honeywell International Inc. Speech enabled management system
CN104408698B (zh) * 2014-10-29 2017-06-06 中山大学 一种基于压缩感知的二维码图像光照均衡方法
EP3018917B1 (en) 2014-11-06 2016-12-28 Axis AB Method and system for audio calibration of an audio device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836855B2 (en) 2021-10-08 2023-12-05 Vgis Inc. System and method for harmonization of vertical projections for displaying of geospatial object data in mediated reality

Also Published As

Publication number Publication date
TW201741934A (zh) 2017-12-01
TWI718150B (zh) 2021-02-11
US10373035B2 (en) 2019-08-06
CN107346406B (zh) 2019-04-12
EP3242245B1 (en) 2018-06-06
JP2017224282A (ja) 2017-12-21
TW201710997A (zh) 2017-03-16
JP6473475B2 (ja) 2019-02-20
US10152665B2 (en) 2018-12-11
EP3242245A1 (en) 2017-11-08
CN107346406A (zh) 2017-11-14
JP6484587B2 (ja) 2019-03-13
KR20180081028A (ko) 2018-07-13
TWI657377B (zh) 2019-04-21
KR101913371B1 (ko) 2018-10-30
US20170323187A1 (en) 2017-11-09
KR20170125726A (ko) 2017-11-15
CN106169184A (zh) 2016-11-30
US20160343137A1 (en) 2016-11-24
EP3096290B1 (en) 2018-07-18
EP3096290A1 (en) 2016-11-23
JP2017021328A (ja) 2017-01-26
KR20160136233A (ko) 2016-11-29

Similar Documents

Publication Publication Date Title
KR102019412B1 (ko) 카메라의 공간적 특성들을 결정하는 방법 및 시스템
JP2017224282A5 (ko)
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
JP5480777B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
CN1897644B (zh) 用于捕捉图像的方法和系统
CN111339846A (zh) 图像识别方法及装置、电子设备和存储介质
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
KR20130051501A (ko) 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적
CN103002208A (zh) 电子装置和图像拾取设备
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
CN109816628B (zh) 人脸评价方法及相关产品
CN104871179A (zh) 用于图像捕捉和便于注解的方法和系统
CN111444749A (zh) 路面导向标志的识别方法、装置及存储介质
CN111292372B (zh) 目标物体定位方法、装置、存储介质以及电子设备
KR101698645B1 (ko) 위치기반 인터랙티브 영상 시스템 및 투영방법
JP2005038153A (ja) 画像処理装置
KR20070010689A (ko) 무선통신단말기의 상 표시 방법 및 장치
KR20190134217A (ko) 복수 개의 영상을 처리하는 방법 및 전자 장치
JP6248732B2 (ja) 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラム
JP2021165895A (ja) 光学読取システム
CN114902646A (zh) 电子设备、控制电子设备的方法以及计算机可读存储介质
CN113573116A (zh) 一种遥控方法、系统、显示设备、遥控装置及存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant