KR20210008403A - 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템 - Google Patents

광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템 Download PDF

Info

Publication number
KR20210008403A
KR20210008403A KR1020207035360A KR20207035360A KR20210008403A KR 20210008403 A KR20210008403 A KR 20210008403A KR 1020207035360 A KR1020207035360 A KR 1020207035360A KR 20207035360 A KR20207035360 A KR 20207035360A KR 20210008403 A KR20210008403 A KR 20210008403A
Authority
KR
South Korea
Prior art keywords
information
terminal device
optical label
information device
optical
Prior art date
Application number
KR1020207035360A
Other languages
English (en)
Inventor
쑤헝 뉴
준 팡
지앙리앙 리
Original Assignee
베이징 와이하우 인포메이션 테크놀로지 씨오., 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 와이하우 인포메이션 테크놀로지 씨오., 엘티디 filed Critical 베이징 와이하우 인포메이션 테크놀로지 씨오., 엘티디
Publication of KR20210008403A publication Critical patent/KR20210008403A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K19/0728—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs the arrangement being an optical or sound-based communication interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1141—One-way transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H04N5/2253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Abstract

본 발명은 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템을 제공하며, 단말 장치를 통해 정보 기기의 상대적으로 고정된 위치에 위치한 광학 라벨의 이미지를 캡처하여 광학 라벨에 대한 단말 장치의 초기 위치 및 자세를 결정하고, 광학 라벨에 대한 사전 결정된 각 정보 기기의 위치를 기반으로 단말 장치와 각 정보 기기 사이의 상대적 위치를 결정하며, 각 정보 기기와 상호 작용할 수 있도록, 각 정보 기기의 대화형 인터페이스를 그 디스플레이 화면의 이미징 위치에 각각 표시한다. 따라서, 사용자는 시야 중의 정보 기기를 언제 어디서나 조작할 수 있고, 각각의 정보 기기에 대한 위지위그(WYSIWYG) 상호 작용을 실현할 수 있다.

Description

광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템
본 발명은 광학 정보 기술 및 위치 서비스 분야에 관한 것으로, 보다 상세하게는 광학 라벨을 이용한 장치의 상호 작용 방법 및 시스템에 관한 것이다. 본 명세서에서 광학 라벨은 광통신 장치라고도 한다.
모바일 인터넷, 사물 인터넷 기술, 빅데이터 등 기술이 끊임없이 발전하면서 스마트홈 산업은 빠른 발전을 이뤘고, 디지털화, 네트워크화, 지능화 기능을 갖춘 다양한 정보 가전 기기들이 출현되었으며, 이러한 정보 가전 기기들은 서로 네트워킹될 수 있고 네트워크를 통해 대화형으로 제어될 수도 있다. 휴대폰 등 지능형 휴대 장치가 보편화되면서, 점점 많은 스마트홈 시스템은 사용자가 휴대폰을 사용하여 가전 기기를 제어할 수 있도록 지원하는데, 사용자는 휴대폰으로 네트워크를 연결할 수만 있으면 언제 어디서나 인터넷을 통해 집안의 전기 기기를 제어할 수 있다. 그러나, 전기 제품이 많을 때는 핸드폰에서 끊임 없이 확인하고 선택해야 하므로 조작이 번거로워 사용자들이 거부감을 갖기 쉽다.
상기와 같은 문제점을 감안하여, 본 발명은 사용자가 언제 어디서나 시야에 있는 장치를 제어할 수 있고 장치에 대한 상호 작용을 직접 확인할 수 있는 광학 라벨을 기반으로 하는 새로운 정보 기기의 상호 작용 방법 및 시스템을 제공한다.
본 발명의 목적은 다음과 같은 기술적 해결책을 통해 실현된다.
일 양태에 따르면, 본 발명은 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법을 제공하며, 해당 방법은,
S1) 사용자가 휴대한 단말 장치를 사용하여 정보 기기의 상대적으로 고정된 위치의 광학 라벨의 이미지를 캡처하는 것을 통해 광학 라벨에 대한 단말 장치의 초기 위치 및 자세를 결정하는 단계;
S2) 상기 결정된 단말 장치의 위치 및 광학 라벨에 대한 사전 결정된 각 정보 기기의 위치를 기반으로 단말 장치와 각 정보 기기 사이의 상대적 위치를 결정하는 단계;
S3) 상기 결정된 단말 장치의 자세 및 단말 장치와 각 정보 기기 사이의 상대적 위치에 의해 상기 단말 장치의 디스플레이 화면에서 각 정보 기기의 이미징 위치를 계산하는 단계; 및,
S4) 각 정보 기기와 상호 작용할 수 있도록, 각 정보 기기의 대화형 인터페이스를 그 디스플레이 화면의 이미징 위치에 각각 표시하는 단계;를 포함한다.
상기 방법은 단말 장치의 위치 및/또는 자세의 변화에 응답하여 상기 단말 장치의 디스플레이 화면에서 각 정보 기기의 이미징 위치를 조정하는 단계;를 더 포함한다.
상기 방법은,
정보 기기의 대화형 인터페이스에 대한 사용자의 조작을 인식하는 단계; 및,
상기 인식된 조작을 대응하는 조작 명령으로 변환하여 네트워크를 통해 해당 정보 기기에 전송하는 단계;를 더 포함한다.
상기 방법에서, 사용자가 정보 기기의 대화형 인터페이스에 대한 조작은 화면 입력, 키보드 입력, 음성 입력 또는 제스처 입력 중의 적어도 한가지이다.
다른 양태에 따르면, 본 발명은 하나 이상의 정보 기기와, 정보 기기의 상대적으로 고정된 위치에 위치한 광학 라벨과, 정보 기기 및 광학 라벨과 관련된 정보를 저장하기 위한 서버와, 이미징 장치를 갖춘 단말 장치를 포함하여 구성된 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 시스템을 제공하며,
상기 단말 장치는,
액세스될 정보 기기의 상대적으로 고정된 위치의 광학 라벨의 이미지를 캡처하여 광학 라벨에 대한 단말 장치의 초기 위치 및 자세를 결정하며;
상기 결정된 단말 장치의 위치 및 광학 라벨에 대한 서버로부터 획득한 사전 결정된 각 정보 기기의 위치를 기반으로 단말 장치와 각 정보 기기 사이의 상대적 위치를 결정하며;
상기 결정된 단말 장치의 자세 및 단말 장치와 각 정보 기기 사이의 상대적 위치에 의해 상기 단말 장치의 디스플레이 화면에서 각 정보 기기의 이미징 위치를 계산하며; 및,
각 정보 기기와 상호 작용할 수 있도록, 각 정보 기기의 대화형 인터페이스를 그 디스플레이 화면의 이미징 위치에 각각 표시하도록 구성된다.
상기 시스템에서, 상기 단말 장치는 단말 장치의 위치 및/또는 자세의 변화에 응답하여 상기 단말 장치의 디스플레이 화면에서 각 정보 기기의 이미징 위치를 조정할 수 있도록 구성된다.
상기 시스템에서, 상기 단말 장치는,
정보 기기의 대화형 인터페이스에 대한 사용자의 조작을 인식하며; 및,
상기 인식된 조작을 대응하는 조작 명령으로 변환하여 네트워크를 통해 해당 정보 기기에 전송하도록 구성된다.
상기 시스템에서, 정보 기기의 대화형 인터페이스에 대한 사용자의 조작은 화면 입력, 키보드 입력, 음성 입력 또는 제스처 입력 중의 적어도 한가지이다.
본 발명은 또한 프로세서; 및, 상기 프로세서에 의해 실행될 때 상기 방법을 구현할 수 있는 컴퓨터 프로그램이 저장된 메모리를 포함하여 구성되는 컴퓨팅 장치를 제공한다.
본 발명은 또한 실행될 때 상기 방법을 구현할 수 있는 컴퓨터 프로그램이 저장된 저장 매체를 제공한다.
본 발명은 사용자가 언제 어디서나 시야에 있는 장치를 제어할 수 있고 장치에 대한 상호 작용을 직접 확인할 수 있는 광학 라벨을 기반으로 하는 새로운 정보 기기의 상호 작용 방법 및 시스템을 제공하는 효과가 있다.
이하, 첨부 도면을 결부하여 본 발명의 실시예에 대해 추가적으로 설명하고자 한다.
도 1은 삼각 측량 방법의 기본 원리의 개략도이다.
도 2는 광학 라벨을 캡처하기 위한 이미징 장치의 이미징 과정 원리의 개략도이다.
도 3은 물체 좌표계와 이미지 좌표계 사이의 단순화된 관계의 개략도이다.
도 4는 본 발명의 실시예에 따른 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법의 흐름도이다.
본 발명의 목적, 기술적 해결책 및 장점을 보다 명확하게 하기 위해, 이하에서는 첨부 도면을 참조하여 본 발명의 구체적인 실시예에 대해 더 상세히 설명하고자 한다. 여기에 설명된 구체적인 실시예는 단지 본 발명을 해석하기 위한 것이며, 본 발명을 제한하기 위한 것이 아님을 이해해야 한다.
바코드 및 QR코드는 정보를 인코딩하기 위해 널리 사용되고 있다. 특정 장비 또는 소프트웨어로 이러한 바코드 및 QR코드를 스캔하면 해당 정보가 인식된다. 다만, 바코드 및 QR코드의 인식 거리는 많이 제한된다. 예를 들어, QR코드의 경우, 핸드폰 카메라로 스캔할 때, 핸드폰이 반드시 QR코드 폭의 약 15배에 불과한 비교적 가까운 거리에 있어야 한다. 따라서, 먼 거리에서 인식(예를 들어, QR코드 폭의 200 배에 해당하는 거리)해야 하는 경우, 일반적으로 바코드 및 QR코드로 구현할 수 없거나 반드시 매우 큰 바코드 및 QR코드를 제작해야 하므로 비용을 증가시킬 뿐만 아니라, 많은 경우에 다른 여러 제한으로 인해 구현하는 것이 불가능하다.
그러나, 광학 라벨은 다양한 빛을 방출하여 정보를 전달하는데, 사용 거리가 멀고 가시 광선 조건에 대한 요구가 낮으며 지향성이 강하고 위치 결정이 가능한 장점을 가지며, 광학 라벨에 의해 전송되는 정보가 시간이 지남에 따라 빠르게 변할 수 있어 더 많은 용량의 정보를 제공(예를 들어, 중국 특허 공개 CN104168060A, CN105740936A 등에 설명된 광통신 장치)할 수 있다. 기존의 QR코드에 비해, 광학 라벨은 더욱 강력한 정보 상호 작용 기능을 가지며, 사용자와 업체에 큰 편의를 제공할 수 있다.
본 발명의 실시예에서, 광학 라벨은 서로 다른 광을 방출하여 서로 다른 정보를 전송할 수 있는 임의의 광통신 장치일 수 있다. 일 실시예에서, 광학 라벨은 적어도 하나의 광원과, 상기 광원에 의해 방출되는 서로 다른 빛을 제어하여 서로 다른 정보를 전달하기 위한 제어기를 포함할 수 있다. 예를 들어, 제어기는 광원에서 방출되는 빛의 속성을 개변하여 광원이 서로 다른 빛을 방출하도록 할수 있다. 빛의 속성은 광학 이미징 장치(예를 들어, CMOS이미징 장치)에 의해 감지될 수 있는 임의의 속성일 수 있는데, 예컨대 빛의 강도, 색상, 파장 등 사람의 눈으로 감지할 수 있는 속성이거나 또는 예컨대 사람의 눈의 가시 범위를 벗어난 전자기 파장의 강도, 색상 및 파장의 변경 또는 상기 속성의 임의의 조합과 같은 사람의 눈으로 감지할 수 없는 다른 속성일 수 있다. 따라서, 빛의 속성의 변화는 단일 속성의 변화이거나 또는 두개 이상의 속성의 조합의 변화일 수 있다. 빛의 강도를 속성으로 선택하는 경우, 광원을 켜거나 끄는 것을 통해 간단히 달성할 수 있다. 후술되는 설명에서, 단순화를 위해 광원을 켜거나 끄는 것을 통해 빛의 특성을 변경하지만, 당업자는 빛의 특성을 변경할 수 있는 다른 방식도 가능하다는 것을 이해할 수 있다.
광학 이미징 장치에 의해 감지될 수 있는 속성 중의 하나가 다른 주파수로 변경될 수 있으면, 해당 광학 라벨에 다양한 형태의 광원을 사용할 수 있다. 광원은 예컨대 도광판, 소프트 라이트 플레이트, 산광기 등과 같은 흔히 볼 수 있는 광학 장치를 포함할 수 있다. 예를 들어, 광원은 하나의 LED램프, 여러개의 LED램프로 구성된 어레이, 디스플레이 화면 또는 그 일부분일 수 있으며, 심지어 광 조사 영역(예를 들어, 벽의 빛 조사 영역)도 광원으로 사용될 수 있다. 해당 광원의 형태는 원형, 정사각형, 직사각형, 스트립형, L형 등 다양한 형태일 수 있다.
일 실시예에서, 해당 광학 라벨의 제어기는 정보를 전송하기 위해 각 광원에 의해 방출되는 광의 속성을 제어할 수 있다. 예를 들어, 각 광원의 on/off의 제어를 통해 2진수 숫자 정보의 “0” 또는 “1”를 표시함으로써, 해당 광학 라벨 중의 여러 광원은 하나의 2진수 정보 시퀀스를 표시하기 위해 사용될 수 있다. 당업자가 이해할 수 있는 바와 같이, 각 광원은 2진수를 표시할수 있을 뿐만 아니라, 3진수 또는 더욱 큰 진수의 데이터를 표시하기 위해 사용될 수 있다. 예를 들어, 광원에서 방출되는 빛의 강도를 3단계 이상에서 선택하도록 설정하거나 또는 광원에서 방출되는 빛의 색상을 3가지 이상의 색상에서 선택하도록 설정하거나 심지어 강도와 색상을 조합함으로써, 각 광원이 3진수 이상의 데이터를 표시하게 할 수 있다. 따라서, 기존의 QR코드에 비해, 본 발명의 광학 라벨은 데이터 인코딩 밀도를 현저히 증가시킬 수 있다.
또 다른 실시예에서, 해당 광학 라벨의 제어기는 광원을 제어하여 특정 주파수에서 방출되는 빛의 특성을 변경할 수 있기 때문에, 본 발명의 광학 라벨은 서로 다른 시간에 서로 다른 데이터 정보를 표시할 수 있는 바, 예를 들어, 서로 다른 2진수 정보 시퀀스를 표시할 수 있다. 이와 같이, 광학 이미징 장치를 사용하여 본 발명의 광학 라벨을 연속적으로 캡처할 때(예를 들어, 초당 30프레임의 속도), 각 프레임의 이미지는 모두 일련의 정보 시퀀스의 표시에 사용될 수 있으므로, 기존의 정적 QR코드와 비교하면, 데이터 인코딩 밀도를 한층 더 제고할 수 있다.
본 발명의 실시예에서, 당 업계에서 일반적으로 사용되는 광학 이미징 장비 또는 이미지 캡처 장치를 사용하여 광학 라벨을 이미징하여 2진 데이터 1 또는 데이터 0의 정보 시퀀스와 같은 각 프레임의 이미지로부터 전송될 정보를 결정할 수 있으며, 광학 라벨에서 광학 이미징 장치로의 정보의 전송을 구현할 수 있다. 광학 이미징 장치 또는 이미지 캡처 장치는 이미지 캡처 소자, 프로세서 및 메모리 등을 포함할 수 있다. 광학 이미징 장치 또는 이미지 캡처 장치는 예컨대 핸드폰, 태블릿 컴퓨터, 스마트 글래스 등 촬영 기능이 있는 이동 단말기일 수 있고, 이미지 캡처 장치 및 영상 처리 모듈을 포함하여 구성될 수 있다. 사용자는 광학 라벨의 가시 거리 범위 내에서 육안으로 광학 라벨을 찾고, 이동 단말기의 이미징 센서를 광학 라벨에 조준하여 광학 라벨을 스캔하여 정보 캡처 및 해석 처리를 수행한다. 광원이 광학 라벨의 제어기에 의해 제어되어 방출되는 빛의 속성이 특정 주파수로 변경되는 경우, 이동 단말기의 이미지 캡처 주파수는 광원의 속성 변환 주파수의 2 배 이상으로 설정될 수 있다. 캡처된 이미지 프레임을 디코딩하여 인식 및 디코딩 과정을 완료할 수 있다. 일 실시예에서, 이미지 프레임의 중복, 누락 등을 방지하기 위해, 광학 라벨에 의해 전송되는 정보에 일련 번호, 체크 디지트, 타임 스탬프 등을 포함시킬 수 있다. 필요에 따라, 각 이미지 프레임에 시작 프레임 또는 끝 프레임 또는 양자 모두를 지정하여 각 이미지 프레임의 전체 주기의 시작 또는 끝 위치를 나타낼 수 있으며, 해당 시작 프레임 또는 끝 프레임은 어떠한 특수한 데이터 조합을 표시하도록 설정될 수 있다. 예를 들어, 모두 0 또는 모두 1 또는 실제로 표시될 수 있는 정보와 동일하지 않은 모든 특수 조합을 표시하도록 설정될 수 있다.
CMOS이미징 장치를 예를 들면, CMOS이미징 장치를 통해 광원의 연속적인 멀티 프레임 이미지를 캡처할 때, 광원의 작동 모드 사이의 전환 시간 간격이 CMOS이미징 장치의 전체 프레임 이미징 시간과 같도록 제어기를 통해 제어할 수 있으며, 광원과 이미징 장치 사이의 프레임 동기화를 구현할 수 있다. 각 광원이 프레임 당 1 비트의 정보를 전송한다고 가정하면, 초당 30 프레임의 촬영 속도에 대해 각 광원은 초당 30 비트의 정보를 전송할 수 있고 인코딩 공간은 230에 도달하며, 해당 정보는 예컨대 시작 프레임 표시(프레임 헤더), 광학 라벨 ID, 비밀번호, 인증 코드, 웹 사이트 정보, 주소 정보, 타임 스탬프 또는 다른 조합 등을 포함할 수 있다. 구조화된 방법에 따라 상기 다양한 정보의 순서 관계를 설정하여 데이터 패킷 구조를 형성할 수 있다. 하나의 완전한 데이터 패킷 구조가 수신 될 때마다 하나의 완전한 데이터 세트(하나의 데이터 패킷)를 획득한 것으로 간주하며, 이에 따라, 해당 데이터 세트에 대해 데이터 읽기 및 검증 분석을 수행할 수 있다. 표 1은 본 발명의 일 실시예에 따른 예시적인 데이터 패킷 구조를 나타낸다. 즉:
프레임 헤더 속성 필드(선택 사항) 데이터 필드 체크 디지트 프레임 끝
기존의 QR코드에 비해, 상기 광학 라벨은 다양한 빛을 방출하여 정보를 전달하며, 사용 거리가 멀고 가시 광선 조건에 대한 요구가 낮으며 지향성이 강하고 위치 결정이 가능한 장점을 갖고, 광학 라벨에 의해 전송되는 정보가 시간이 지남에 따라 빠르게 변할 수 있어 더 많은 용량의 정보를 제공할 수 있다. 따라서, 광학 라벨은 더욱 강력한 정보 상호 작용 기능을 가지며, 사용자와 업체에 큰 편의를 제공할 수 있다. 광학 라벨을 기반으로 사용자 및 업체에 상응한 서비스를 제공하기 위해, 각 광학 라벨에는 광학 라벨의 제조 업체, 관리자 및 사용자에 의해 유일하게 인식되거나 또는 광학 라벨을 표시하기 위한 고유 식별자(ID)가 할당된다. 일반적으로, 식별자는 광학 라벨에 의해 발급될 수 있으며, 사용자는 예컨대 휴대폰에 내장된 이미지 캡처 장치 또는 이미징 장치를 사용하여 광학 라벨의 이미지를 캡처하여 광학 라벨에 의해 전달된 정보(예를 들어, 식별자)를 획득함으로써, 해당 광학 라벨을 기반으로 제공되는 서비스를 액세스할 수 있다.
본 발명의 실시예에서, 상기 광학 라벨을 기반으로 해당 광학 라벨을 스캔하기 위한 이미징 장치를 정확하게 위치(역 방향 위치 또는 상대적 위치 결정이라고도 함)시킬 수도 있다. 예를 들어, 광학 라벨의 지리적 위치 정보를 예컨대 서버에 미리 등록할 수 있다. 광학 라벨은 작업 과정에서 식별 정보(ID정보 등)를 전송할 수 있고, 이미징 장치는 광학 라벨을 스캔하여 ID정보를 획득할 수 있으며, 이미징 장치는 광학 라벨의 ID정보를 획득한 후에 ID정보를 사용하여 서버에서 쿼리를 실행함으로써 광학 라벨에 대응하는 지리적 위치를 획득할 수 있으며, 역 방향 위치 결정을 수행하여 이미징 장치의 구체적인 위치를 결정할 수 있다. 대안적으로, 물리적 크기 정보, 물리적 형태 정보 및/또는 광학 라벨의 방향 정보와 같은 다른 관련 정보를 서버에 미리 등록할 수도 있다. 일 실시예에서, 광학 라벨은 균일한 또는 기본 물리적 크기 또는 형태를 가질 수 있고, 사용자 장비는 해당 물리적 크기 또는 형태를 알 수 있다.
다양한 실행 가능한 역 방향 위치 결정 방법을 사용하여 사용자(실제로는 사용자의 이미징 장치)와 광학 라벨 사이의 상대적 위치 관계를 결정할 수 있다. 예를 들어, 이미징 장치와 광학 라벨 사이의 상대적 거리(예를 들어, 광학 라벨의 이미징 크기 또는 휴대폰의 거리 측정 기능이 있는 앱(app) 사용)를 결정하고, 두개 이상의 광학 라벨을 사용하여 삼각 측량 방법에 의해 이미징 장치와 광학 라벨 사이의 상대적 위치 관계를 결정할 수 있다. 또한, 이미징 장치와 광학 라벨 사이의 상대적 거리를 결정하고, 광학 라벨의 이미징 장치에서의 원근 왜곡을 분석함으로써, 이미징 장치와 광학 라벨 사이의 상대적 위치 관계를 결정할 수도 있다. 이미징 장치와 광학 라벨 사이의 상대적 위치 관계를 결정할 때, 광학 라벨의 물리적 크기 정보 및/또는 방향 정보를 추가적으로 사용할 수 있다. 해당 물리적 크기 정보 및/또는 방향 정보는 광학 라벨의 식별 정보와 관련하여 서버에 저장될 수 있다.
예를 들어, 일 실시예에서, 적어도 2 개의 광학 라벨을 사용하여 위치를 결정할 수 있다. 각 광학 라벨에 대해 다음 단계를 수행할 수 있다. 즉:
단계 1: 이미징 장치를 사용하여 광학 라벨의 ID정보를 수집한다.
단계 2: 해당 ID정보로 쿼리를 실행하여 광학 라벨의 물리적 크기 정보 및 지리적 위치 정보를 획득한다.
단계 3: 이미징 장치의 기본 초점 거리로 광학 라벨을 캡처하여 광학 라벨의 이미지를 획득한다. 이미징 장치의 기본 초점 거리가 사용되기 때문에, 캡처된 광학 라벨의 이미지가 흐릿하게 보일 수 있다.
단계 4: 이미징 장치의 초점 거리를 조정하고 최적화하여 광학 라벨의 선명한 이미지를 획득한다. 예를 들어, 기본 초점 거리를 기준으로 먼저 초점 거리를 증가하여 광학 라벨 이미지가 선명해지면 초점 거리를 계속 증가하고, 광학 라벨 이미지가 흐려지면 초점 거리를 감소하여 반대 방향으로 조정하며, 반대의 경우도 마찬가지이다. 초점 거리 조정 과정에서, 광학 라벨 이미지의 선명도를 결정하기 위해 광학 라벨 이미지에 대해 텍스처 특징 추출을 수행할 수 있으며, 광학 라벨의 이미지가 선명할수록 해당 텍스처 정보가 단순해지고 텍스처 밀도가 작아진다. 따라서, 광학 라벨 이미지의 텍스처 밀도에 따라 최적의 초점 거리 매개 변수를 결정할 수 있으며, 여러번 반복하여 더 작은 텍스처 밀도를 얻을 수 없는 경우, 텍스처 밀도가 가장 작은 이미지를 선명한 이미지로 간주할 수 있고, 얻어진 최소 텍스처 밀도에 대응하는 초점 거리 매개 변수를 최적 초점 거리 매개 변수로 사용할 수 있다.
단계 5: 최적 초점 거리 매개 변수를 기반으로 광학 라벨의 선명한 이미지를 캡처하고, 그 다음에, 간단한 렌즈 방정식과 물체 이미지 관계를 이용하여 광학 라벨의 선명한 이미지 크기, 광학 라벨의 물리적 크기 및 최적 초점 거리 매개 변수에 따라 이미징 장치와 광학 라벨 사이의 상대적 거리를 계산한다.
이미징 장치와 적어도 두개의 광학 라벨 중의 각각의 광학 라벨과의 상대적 거리를 획득한 후, 삼각 측량 방법을 사용하여 이미징 장치의 구체적 위치 정보, 즉 물리적 세계 좌표계에서 이미징 장치의 구체적 좌표를 결정할 수 있다. 도 1은 삼각 측량 방법의 개략도이며, 두개의 광학 라벨(광학 라벨 1 및 광학 라벨 2)을 사용하여 삼각 측량을 수행한다.
또한, 두개의 광학 라벨을 사용하여 삼각 측량을 수행하는 경우, 일반적으로 두개의 후보 위치를 획득한다. 이 경우, 상기 두 후보 위치로부터 선택해야 할 수 있다. 일 실시형태에서, 이미징 장치(예를 들어, 휴대폰) 자체의 위치 정보(예를 들어, GPS 정보)와 조합하여 그 중의 하나의 후보 위치를 선택할 수 있다. 예를 들어, GPS정보와 더 가까운 하나의 후보 위치를 선택할 수 있다. 다른 실시형태에서, 각 광학 라벨의 방향 정보를 추가적으로 고려할 수 있는데, 실제로 해당 방향 정보는 광학 라벨이 관찰될 수 있는 영역을 한정하므로 해당 방향 정보에 기반하여 그 중의 하나의 후보 위치를 선택할 수 있다. 광학 라벨의 방향 정보도 마찬가지로 서버에 저장될 수 있고, 광학 라벨의 ID정보로 쿼리를 실행하여 획득할 수 있다. 상기 실시예에서는 2개의 광학 라벨을 사용하는 경우를 예를 들어 설명하였지만, 당업자는 3개 이상의 광학 라벨의 경우도 상기 삼각 측량 방법에 적용될 수 있다는 것을 이해할 수 있다. 실제로, 3개 이상의 광학 라벨을 사용하면 보다 정확하게 위치를 결정할 수 있고, 일반적으로 여러개의 후보 위치가 표시되지 않는다.
또 다른 실시예에서, 다음의 역 방향 위치 결정 방법을 사용할 수도 있는데, 해당 실시예에서는 적어도 2개의 광학 라벨이 필요 없이, 단지 하나의 광학 라벨을 사용하여 역 방향 위치 결정을 수행할 수 있다. 해당 실시예의 방법은 다음의 단계를 포함한다. 즉:
단계 1: 이미징 장치를 사용하여 광학 라벨의 ID정보를 수집한다.
단계 2: 해당 ID정보로 광학 라벨의 지리적 위치 정보 및 그 위에 있는 여러 위치의 관련 정보를 쿼리하여 획득한다. 해당 관련 정보는 예컨대 이러한 위치의 광학 라벨에서의 위치 정보 및 좌표 정보일 수 있다.
단계 3: 이미징 장치의 기본 초점 거리로 광학 라벨을 캡처하여 광학 라벨의 이미지를 획득한다. 예를 들어, 위에서 설명한 바와 같이, 광학 라벨 이미지의 텍스처 밀도에 따라 최적 초점 거리 매개 변수를 결정할 수 있는데, 여러번 반복하여 더 작은 텍스처 밀도를 얻을 수 없는 경우, 텍스처 밀도가 가장 작은 이미지를 선명한 이미지로 간주할 수 있고, 최소 텍스처 밀도에 대응하는 초점 거리 매개 변수를 최적 초점 거리 매개 변수로 사용할 수 있다.
단계 4: 최적 초점 거리 매개 변수를 기반으로 광학 라벨의 선명한 이미지를 캡처하며, 후술되는 역 방향 위치 결정을 구현한다.
도 2를 참조하면, 도 2는 이미징 장치에서 광학 라벨의 이미징 과정을 나타낸 개략도이다. 광학 라벨의 질량 중심을 원점으로 물체 좌표계(X,Y,Z)를 설정하고, 이미징 장치의 위치Fc를 원점으로 이미지 좌표계(X,Y,Z)를 설정하며, 물체 좌표계는 물리적 세계 좌표계라고도 하고, 이미지 좌표계는 카메라 좌표계라고도 한다. 또한, 이미징 장치에 의해 캡처된 광학 라벨 이미지의 왼쪽 상단 모서리에 있는 점을 좌표의 원점으로 하여 광학 라벨의 이미지 평면에서 2차원 좌표계(u,v)를 설정하여 이미지 평면 좌표계라 하고, 이미지 평면과 광축(즉, Z축)의 교차점이 주점이고, (
Figure pct00001
)는 이미지 평면 좌표계에서 주점의 좌표이다. 광학 라벨의 임의의 점 P의 물체 좌표계에서의 좌표는 (X,Y,Z)이고, 대응하는 상점은 q이며, 이미지 좌표계에서의 좌표는 (X,Y,Z)이고, 이미지 평면 좌표계에서의 좌표는 (u,v)이다. 이미징 과정에서, 이미지 좌표계는 물체 좌표계에 대해 변위 뿐만 아니라 각도의 회전도 존재하며, 물체 좌표계(X,Y,Z)와 이미지 좌표계(X,Y,Z) 사이의 관계는 하기의 식으로 표시할 수 있다. 즉:
Figure pct00002
(1)
피정의 변수:
Figure pct00003
,
Figure pct00004
;
이 경우, 이미지 평면 좌표계에서의 좌표는,
Figure pct00005
,
Figure pct00006
(2)이며;
상기
Figure pct00007
및
Figure pct00008
는 각각 이미징 장치의 x축 및 y축 방향의 초점 거리이고,
Figure pct00009
는 이미지 평면 좌표계에서 주점의 좌표이며,
Figure pct00010
,
Figure pct00011
,
Figure pct00012
,
Figure pct00013
는 모두 이미징 장치 내부의 매개 변수로서 미리 측정하여 알 수 있다. 회전 행렬(R) 및 변위 벡터(t)는 각각 이미지 좌표계에 대한 물체 좌표계의 자세 정보 및 변위 정보를 나타내는데, 상기 자세 정보는 광학 라벨에 대한 이미징 장치의 자세이며, 다시 말하면, 이미징 장치의 중심 축이 광학 라벨에 대한 편차로서, 광학 라벨에 대한 이미징 장치의 방향이라고도 하는데, 예를 들어, 이미징 장치가 광학 라벨을 정면으로 향할 때 R = 0 이며; 상기 변위 정보는 이미징 장치와 광학 라벨 사이의 변위이다. 3차원 공간에서 회전은 각각의 좌표축을 중심으로 하는 2차원 회전으로 분해될 수 있으며, 만일 순차적으로 x, y, z 축을 중심으로 하는 회전 각도가
Figure pct00014
,
Figure pct00015
,
Figure pct00016
이면, 총 회전 행렬(R)은 3개의 행렬
Figure pct00017
,
Figure pct00018
,
Figure pct00019
의 곱으로서, 즉 :
Figure pct00020
이고, 여기서,
Figure pct00021
Figure pct00022
Figure pct00023
이며,
단순함을 위해서, 그리고 당 업계에 주지되기 때문에, 여기에서는 계산을 확장하지 않고 회전 행렬을 단지 다음의 형식으로 간단히 표시하며,
Figure pct00024
;
변위 벡터(t)는 다음의 형식으로 간단히 표시할 수 있는데, 즉:
Figure pct00025
이며,
따라서, 다음의 관계식을 얻는다. 즉:
Figure pct00026
(3).
상기 s는 물체 이미지 변환 인자로서, 이미지 평면의 크기와 이미징 장치의 해상도의 비율과 같으며, 이미 주지된 것이다.
단계 2에서 얻은 광학 라벨의 여러 점(예를 들어, 최소 4개의 점 A, B, C, D)의 관련 정보(예를 들어, 이러한 점의 광학 라벨에서의 위치 정보)에 따라, 이러한 점들이 광학 라벨에서의 상점, 예를 들어 A', B', C' 및 D'를 결정한다. 해당 4개의 점 A, B, C, D는 예컨대 광학 라벨의 왼쪽과 오른쪽에 위치하거나 광학 라벨의 네 모서리에 위치하는 4개의 개별 점 광원일 수 있다. 상기 4개의 점의 좌표 정보
Figure pct00027
,
Figure pct00028
,
Figure pct00029
및
Figure pct00030
도 단계 2에서 획득한다. 해당 4개의 상점 A', B', C' 및 D'의 이미지 평면 좌표계에서의 좌표
Figure pct00031
,
Figure pct00032
,
Figure pct00033
및
Figure pct00034
를 측정하여 상기 관계식(3)에 대입하여 회전 행렬(R)과 변위 벡터(t)를 구하며, 물체 좌표계 (X,Y,Z)와 이미지 좌표계(x,y,z) 사이의 관계를 얻는다. 해당 관계에 기초하여, 광학 라벨에 대한 이미징 장치의 자세 정보 및 변위 정보를 얻음으로써, 이미징 장치의 위치 결정을 구현할 수 있다. 도 3은 물체 좌표계와 이미지 좌표계 사이의 단순화된 관계의 개략도이다. 그 다음에, 상기 단계 2에서 얻은 광학 라벨의 지리적 위치 정보에 따라, 회전 행렬(R) 및 변위 벡터(t)를 통해 이미징 장치의 실제의 구체적 위치와 자세를 계산할 수 있는데, 변위 벡터(t)를 통해 이미징 장치의 구체적 위치를 결정하고, 회전 행렬(R)을 통해 광학 라벨에 대한 이미징 장치의 자세를 결정한다.
본 발명의 일 실시예에서, 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 제어 시스템을 제공한다. 해당 시스템의 정보 기기는 네트워크를 통해 대화형으로 제어할 수 있는 모든 컴퓨팅 장치를 가리키며, 정보 가전 장비 또는 가정용 장비를 포함하지만 여기에 제한되지는 않는다. 각 정보 기기는 하나 이상의 광학 라벨과 연관될 수 있고, 각 광학 라벨은 하나 이상의 정보 기기와 연관될 수 있다. 광학 라벨은 해당 정보 장치에 설정되거나 정보 장치와 상대적으로 고정된 위치에 위치할 수 있다. 광학 라벨의 물리적 위치와 광학 라벨에 대한 정보 기기의 위치는 모두 미리 결정된다. 광학 라벨 및 관련 정보 기기의 관련 정보는 쿼리를 실행하기 위해 서버에 저장될 수 있다. 광학 라벨과 관련된 정보는 예컨대 광학 라벨의 ID정보, 광학 라벨의 물리적 세계 좌표, 물리적 크기, 방향, 해당 광학 라벨과 관련된 정보 기기 식별자 및 광학 라벨 상의 여러 점의 광학 라벨에서의 위치 정보 및 물체 좌표 등 정보를 포함할 수 있다. 정보 기기와 관련된 정보는 예컨대 정보 기기의 식별자, 해당 정보 기기가 그와 관련된 광학 라벨의 질량 중심을 원점으로 설정된 물체 좌표계에서의 좌표, 해당 정보 기기와 그와 관련된 광학 라벨의 상대적 위치 정보, 해당 정보 기기의 조작 인터페이스, 해당 정보 기기의 설명 정보, 크기, 방향 등을 포함할 수 있다.
사용자는 자신의 시야에 있는 정보 기기와 상호 작용하기를 원할 때, 휴대한 핸드폰 등 단말 장치의 이미징 장치를 사용하여 해당 정보 기기와 연관된 광학 라벨의 이미지를 캡처하여 광학 라벨의 ID 정보를 획득할 수 있다. 이어서, 단말 장치를 사용하여 해당 광학 라벨의 ID 정보에 따라 서버로부터 광학 라벨과 연관된 정보 기기의 관련 정보를 획득할 수 있고, 해당 정보 기기의 대화형 인터페이스를 단말 장치의 디스플레이 화면에서 해당 정보 기기의 위치에 표시할 수 있다. 이러한 방식으로, 사용자는 정보 기기 상에 설치되거나 또는 그 근처에 있는 대화형 인터페이스를 통해 정보 기기에 대해 관련된 상호 작용 제어 동작을 수행할 수 있다. 바람직하게는, 해당 정보 기기가 현재 단말 장치 화면에 표시되는 위치에 정보 기기의 대화형 인터페이스를 표시하기 전에, 임의의 하나의 해당 광학 라벨과 관련된 정보 기기가 단말 장치의 디스플레이 화면에 나타날지 여부를 판단하며, 판단 결과 존재한다고 판단되는 경우, 정보 기기의 디스플레이 화면에서의 이미징 위치를 결정하는데, 예를 들어, 스크린 상에 이미징 시 2 차원 이미지 평면 좌표를 결정한다.
상기 목적을 달성하기 위해, 먼저 상술한 역 방향 위치 결정 방법을 사용하여 사용자가 휴대한 단말 장치와 광학 라벨 사이의 초기 상대적 위치 관계를 결정함으로써, 사용자의 단말 장치의 초기 위치 및 초기 방향을 결정할 수 있다. 추가적으로, 광학 라벨의 물리적 위치 및 광학 라벨에 대한 각 정보 기기의 위치가 미리 결정되기 때문에, 단말 장치의 초기 위치 및 미리 저장된 결정 정보에 따라 사용자의 단말 장치와 각 정보 기기 사이의 초기 상대적 위치 관계를 결정할 수 있다. 사용자의 단말 장치와 각 정보 기기 사이의 초기 상대적 위치 관계 및 단말 장치의 초기 방향에 따라, 현재 임의의 해당 광학 라벨과 연관된 정보 기기가 단말 장치의 디스플레이 화면에 표시되는지 여부를 판단할 수 있고, 판단 결과 표시된다고 판단되는 경우, 디스플레이 화면에서 해당 정보 기기의 이미징 위치를 추가적으로 결정한다. 만일 사용자가 제어하려는 정보 기기가 현재 디스플레이 화면에 표시되지 않은 경우, 사용자는 해당 정보 기기가 디스플레이 화면에 표시될 수 있도록 상기 초기 위치에서 단말 장치를 이동할 수 있는데, 예를 들어, 사용자는 단말 장치를 이동하거나 회전하여 카메라가 정보 기기를 향하도록 할 수 있다. 단말 장치가 초기 위치에서 이동될 때, 기존의 다양한 방법을 통해 단말 장치의 위치 및 자세의 변화(예를 들어, 내장된 가속도 센서, 자이로 스코프 및 기타 단말 장치의 센서를 통해 모니터링)를 감지함으로써 이동된 단말 장치의 위치 정보 및 방향 정보를 결정하고, 해당 위치 정보 및 자세 정보를 기반으로 현재 어떠한 정보 기기가 단말 장치의 디스플레이 화면에 표시될지 및 그 표시 위치를 결정할 수 있다. 따라서, 이러한 정보 기기의 대화형 인터페이스를 디스플레이 화면에서 이러한 정보 기기의 이미징 위치에 각각 중첩시켜, 각각의 정보 기기에 대한 위지위그(WYSIWYG) 상호 작용을 실현할 수 있다.
일 실시예에서, 전술한 바와 같이 이미징 장치를 사용하여 광학 라벨의 이미지를 캡처할 때, 광학 라벨의 질량 중심을 원점으로 설정된 물리적 세계 물체 좌표계(X,Y,Z)와 이미징 장치의 위치를 원점으로 설정된 카메라 좌표계(x,y,z) 사이에는 특정 변환 관계(예를 들어, 공식(1))가 존재하는데, 해당 관계는 회전 행렬(R)과 변위 벡터(t)로 설명할 수 있다. 또한, 카메라 좌표계와 2차원 이미지 평면 좌표계(u,v) 사이에도 특정 변환 관계(예를 들어, 공식(2))가 존재하는데, 해당 관계는 이미징 장치의 내부 매개 변수에 의해 결정되며, 상기 2차원 이미지 평면 좌표계는 카메라 화면에서 캡처된 광학 라벨 이미지의 왼쪽 상단 모서리에 있는 점을 좌표의 원점으로 한다. 따라서, 회전 행렬(R)과 변위 벡터(t) 및 이미징 장치의 내부 매개 변수가 결정된 후, 그에 따라 물리적 세계 좌표와 이미지 평면 좌표(예를 들어, 공식 (3)) 사이의 변환 관계도 결정되는데, 해당 변환 관계는 투영 관계라고도 하며, 물리적 세계 좌표계의 특정 위치에 있는 실제 물체의 이미징 평면의 투영 위치를 결정할 수 있다.
상기에서 역 방향 위치 결정 방법 및 공식(1)-(3)을 결부하여 설명한 바와 같이, 이미징 장치에 의해 캡처된 광학 라벨 이미지와 서버에서 얻은 광학 라벨 관련 정보에 따라 광학 라벨에 대한 이미징 장치의 구체적 위치 및 방향을 결정하는 과정에서, 공식(3)의 회전 행렬(R)과 변위 벡터(t) 및 이미징 장치의 내부 매개 변수가 결정되었으므로, 상기 공식을 통해 각 정보 기기의 이미지 평면 좌표를 결정할 수 있다. 광학 라벨의 물리적 위치와 광학 라벨과 정보 기기 사이의 상대적 위치가 미리 설정되어 있기 때문에, 광학 라벨과 정보 기기 사이의 상대적 위치에 의해 각 정보 기기의 물리적 세계 좌표계의 물체 좌표를 결정할 수 있으며, 해당 물체 좌표를 공식(3)에 대입하면 정보 기기의 이미지 평면의 이미지 평면 좌표를 구할수 있고, 사용자가 사용할 수 있도록, 정보 기기의 이미지 평면 좌표를 기반으로 단말 장치 화면에 해당 정보 기기의 대화형 인터페이스를 표시한다. 다른 실시예에서, 사용자가 선택할 수 있도록 단말 장치의 화면에서 해당 정보 기기 위에 해당 정보 기기의 화면을 중첩시킬 수 있으며, 사용자가 화면을 클릭하여 조작할 정보 기기를 선택하면, 사용자가 정보 기기를 조작하고 제어할 수 있도록, 해당 정보 기기의 대화형 인터페이스가 단말 장치의 화면에 표시된다. 만일 화면이 서로 가리워지면, 전면 화면을 반투명하게 만들거나 전면 화면 근처에 숫자를 사용하여 해당 위치에 여러 화면이 있음을 나타낼 수 있다.
해당 시스템에서, 사용자가 단말기를 휴대하여 이동함에 따라, 단말 장치의 이미징 위치는 물리적 세계에서 광학 라벨 및 정보 기기에 대해 위치 및 방향이 모두 변화되며, 단말 장치의 이미징 평면에 표시되는 정보 기기의 위치도 변화된다. 따라서, 단말 장치의 위치 및 자세를 실시간으로 감지하여 상기 회전 행렬(R) 및 변위 벡터(t)를 적시에 조정함으로써 정보 기기의 정확한 이미지 평면 좌표를 획득할 수 있도록 확보해야 한다. 단말 장치는 다양한 방법으로 자체의 위치 및 자세의 변화를 모니터링할 수 있다. 예를 들어, 단말 장치는 광학 라벨을 참조점으로 현재 이미징 장치에 의해 캡처된 이미지를 이전 이미지와 비교하여 이미지의 차이를 계산 및 인식함으로써 특징점을 형성하며, 이러한 특징점을 사용하여 자체의 위치와 자세의 변화를 계산할 수 있다. 또 예를 들어, 휴대폰과 같은 단말 장치는 내장된 가속도 센서, 자이로 스코프와 같은 관성 측정 센서에 의해 측정된 값을 통해 시간이 지남에 따라 현실 세계에서 카메라의 위치와 방향의 변화를 추정할 수 있다. 그 다음에, 단말 장치의 현재 위치 및 방향을 기반으로 회전 행렬(R) 및 변위 벡터(t)를 조정한 다음 정보 기기의 현재 이미지 평면 좌표를 다시 획득하여 디스플레이 화면에 관련 화면 또는 인터페이스를 표시할 수 있다.
사용자는 조작이 필요한 정보 기기를 선택 후, 다양한 방식으로 정보 기기와 상호 작용할 수 있다. 예를 들어, 사용자는 단말 장치의 화면에 표시되는 대화형 인터페이스를 통해 정보 기기를 구성하거나 조작할 수 있다. 또 예를 들어, 음성 제어나 제스처 제어와 같은 정보 기기의 조작 방식을 미리 정의할 수 있다. 정보 기기의 조작 방식이 음성 제어로 구성된 경우, 사용자가 해당 정보 기기를 선택하면, 단말 장치는 음성 입력을 감지하고 음성 인식을 수행하여 수신된 음성을 조작 명령으로 변환하며, 정보 기기를 조작할 수 있도록 네트워크를 통해 제어명령을 정보 기기에 전송한다. 정보 기기의 조작 방식이 제스처 제어로 구성된 경우, 단말 장치의 이미징 장치 또는 사용자 주변 환경에 설치된 카메라 장치를 통해 사용자의 제스처를 캡처하여 단말 장치에서 제스처를 인식하여 해당 조작 명령으로 변환하고 네트워크를 통해 해당 조작 명령을 전송하여 관련 정보 기기를 제어할 수 있다. 각 정보 기기의 조작과 관련된 제스처는 미리 정의될 수 있는데, 예를 들어 전등의 조작과 관련된 제스처의 경우, 손바닥을 펴서 전등을 켜거나 주먹을 쥐어 전등을 끄며, 손가락을 위로 스와이프하여 밝기를 증가하거나 손가락을 아래로 스와이프하여 밝기를 감소시키는 제스처를 포함할 수 있다.
도 4는 본 발명의 일 실시예의 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법의 흐름도이다. 단계S1)에서, 사용자가 휴대한 단말 장치를 사용하여 정보 기기의 상대적으로 고정된 위치에 있는 광학 라벨의 이미지를 캡처하여 광학 라벨에 대한 단말 장치의 초기 위치 및 자세를 결정한다. 예를 들어, 상기에 설명된 다양한 역 방향 위치 결정 방법을 사용하여 광학 라벨의 이미지를 캡처함으로써 이미지를 캡처한 이미징 장치와 광학 라벨 사이의 초기 상대적 위치 관계를 획득하며, 이에 따라, 해당 단말 장치의 초기 위치와 초기 방향을 결정할 수 있다. 단계S2)에서, 단말 장치의 초기 위치 및 광학 라벨에 대한 상기에 언급한 미리 결정한 각 정보 기기의 위치를 기반으로, 단말 장치와 각 정보 기기 사이의 상대적 위치를 결정하고, 이어서 단계 S3)에서 각 정보 기기의 디스플레이 화면의 이미징 위치를 결정한다. 상기에서 역 방향 위치 결정 방법 및 공식(1)-(3)을 결부하여 설명한 바와 같이, 광학 라벨의 물리적 위치 및 광학 라벨과 정보 기기 사이의 상대적 위치가 미리 설정되며, 이미징 장치에 의해 캡처된 광학 라벨 이미지 및 서버에서 획득한 광학 라벨과 관련된 정보에 따라 광학 라벨에 대한 이미징 장치의 구체적인 위치 및 자세를 결정하는 과정에서, 공식(3)의 회전 행렬(R)과 변위 벡터(t) 및 이미징 장치의 내부 매개 변수가 결정된 것이므로, 해당 공식을 통해 각 정보 기기의 이미지 평면 좌표를 결정할 수 있다. 따라서, 광학 라벨과 정보 기기 사이의 상대적 위치를 통해 각 정보 기기의 물리적 세계 좌표계의 물체 좌표를 결정할 수 있고, 해당 좌표를 공식(3)에 대입하여 해당 정보 기기의 이미징 평면의 이미지 평면 좌표를 얻을 수 있다. 그 다음에, 단계S4)에서, 각 정보 기기와 상호 작용할 수 있도록, 각 정보 기기의 대화형 인터페이스를 디스플레이 화면의 이미징 위치에 중첩시킬 수 있다.
또 다른 실시예에서, 만일 사용자가 제어하려는 정보 기기가 현재 디스플레이 화면에 표시되지 않은 경우, 사용자는 해당 정보 기기가 디스플레이 화면에 표시될 수 있도록 상기 초기 위치에서 단말 장치를 이동할 수 있는데, 예를 들어, 사용자는 카메라가 정보 기기를 향하도록 단말 장치를 이동하거나 회전할 수 있다. 단말 장치가 초기 위치에서 이동될 때, 단말 장치의 위치 및 자세의 변화를 감지함으로써 이동된 단말 장치의 위치 정보 및 방향 정보를 결정하고, 해당 위치 정보 및 자세 정보를 기반으로 현재 어떠한 정보 기기가 단말 장치의 디스플레이 화면에 표시될지 및 그 표시 위치를 결정할 수 있다. 따라서, 이러한 정보 기기의 대화형 인터페이스를 디스플레이 화면의 이러한 정보 기기의 이미징 위치에 각각 중첩시켜, 각각의 정보 기기에 대한 위지위그(WYSIWYG) 상호 작용을 실현할 수 있다. 단말 장치는 다양한 방식으로 자체 위치 및 자세의 변화를 모니터링할 수 있다. 예를 들어, 단말 장치는 광학 라벨을 참조점으로 현재 이미징 장치에 의해 캡처된 이미지를 이전 이미지와 비교하여 이미지의 차이를 계산 및 인식함으로써 특징점을 형성하며, 이러한 특징점을 사용하여 자체의 위치와 자세의 변화를 계산할 수 있다. 또 예를 들어, 휴대폰과 같은 단말 장치는 내장된 가속도 센서, 자이로 스코프와 같은 관성 측정 센서에 의해 측정된 값을 통해 시간이 지남에 따라 현실 세계의 카메라의 위치와 방향의 변화를 추정할 수 있다. 그 다음에, 단말 장치의 현재 위치 및 방향을 기반으로 회전 행렬(R) 및 변위 벡터(t)를 조정한 다음 정보 기기의 현재 이미지 평면 좌표를 다시 획득하여 디스플레이 화면에 관련 화면 또는 인터페이스를 표시할 수 있다.
또 다른 실시예에서, 해당 방법은 정보 기기의 대화형 인터페이스에 대한 사용자의 조작을 인식하고, 해당 조작을 대응하는 조작 명령으로 변환하여 네트워크를 통해 정보 기기에 전송하는 단계;를 더 포함할 수 있다. 정보 기기는 수신된 관련 조작 명령에 응답하여 해당 조작을 수행할 수 있다. 사용자는 다양한 방법으로 정보 기기와 상호 작용할 수 있다. 예를 들어, 사용자는 단말 장치의 화면에 표시되는 대화형 인터페이스를 통해 정보 기기를 구성하고 조작할 수 있고, 터치 스크린 입력 또는 키보드 입력을 사용할 수 있다. 또 예를 들어, 음성 제어나 제스처 제어와 같은 정보 기기의 조작 방식을 미리 정의할 수 있다. 정보 기기의 조작 방식이 음성 제어로 구성된 경우, 사용자가 해당 정보 기기를 선택하면, 단말 장치는 음성 입력을 감지하고 음성 인식을 수행하여 수신된 음성을 조작 명령으로 변환하며, 정보 기기를 조작할 수 있도록, 네트워크를 통해 제어 명령을 정보 기기에 전송한다. 정보 기기의 조작 방식이 제스처 제어로 구성된 경우, 단말 장치의 이미징 장치 또는 사용자 주변 환경에 설치된 카메라 장치를 통해 사용자의 제스처를 캡처하여 단말 장치에서 제스처를 인식하여 해당 조작 명령으로 변환하고 네트워크를 통해 해당 조작 명령을 전송하여 관련 정보 기기를 제어할 수 있다. 각 정보 기기의 조작과 관련된 제스처는 미리 정의될 수 있는데, 예를 들어 전등의 조작과 관련된 제스처의 경우, 손바닥을 펴서 전등을 켜거나 주먹을 쥐어 전등을 끄며, 손가락을 위로 스와이프하여 밝기를 증가하거나 손가락을 아래로 스와이프하여 밝기를 감소시키는 제스처를 포함할 수 있다.
본 발명의 실시예에서, 정보를 전달하기 위한 임의의 광학 라벨(또는 광원)이 사용될 수 있다. 예를 들어, 본 발명의 방법은 CMOS 롤링 셔터 효과에 기반하여 서로 다른 스트라이프를 통해 정보를 전송하는 광원(예를 들어, 중국 특허 공개 CN104168060A에서 설명된 광통신 장치)에 적용될 수도 있고, 특허 CN105740936A에서 설명된 광학 라벨에 적용될 수도 있고, CCD 감광 장치를 통해 전송된 정보를 인식할 수 있는 다양한 광학 라벨에 적용될 수도 있으며, 광학 라벨(또는 광원)의 어레이에 적용될 수도 있다.
본 명세서에서 “다양한 실시예”, “일부 실시예”, “일 실시예” 또는 “실시예”에 대한 참조는 상기 실시예를 결부하여 설명한 특정 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 가리킨다. 따라서, 본 명세서 전반에 걸쳐 나타난 “다양한 실시예에서”, “일부 실시예에서”, “일 실시예에서” 또는 “실시예에서”는 반드시 동일한 실시예를 가리키는 것이 아니다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 따라서, 비논리적이거나 작동이 불가능한 조합이 아닌 한, 일 실시예의 특정 특징, 구조 또는 특성을 하나 이상의 다른 실시예의 특정 특징, 구조 또는 특성과 전체적으로 또는 부분적으로 무제한으로 조합할 수 있다. 본 명세서에서, “A에 따라” 또는 “A를 기반으로”와 유사한 표현은 구체적으로 언급되거나 문맥 상으로 “단지 A만을 기반으로”의 뜻으로 명확하게 알려지지 않는 한 비 배타적이며, “A에 따라”는 “단지 A만을 기반으로”의 뜻을 포함할 수도 있고, "A 및 B에 따라"의 뜻도 포함할 수 있다. 본 발명에서 명확성을 위해 일부 예시적인 조작 단계가 특정 순서로 설명되지만, 당업자는 이러한 조작 단계의 각각의 단계가 필수적인 것이 아니며, 일부 단계는 생략되거나 또는 다른 단계로 대체될 수 있다는 것을 이해할 수 있다. 이러한 조작 단계는 반드시 제시된 방식으로 순차적으로 실행되어야 하는 것이 아니며, 반대로, 비논리적이거나 작동이 불가능하지 않은 한, 이러한 조작 단계 중의 일부 단계는 실제 필요에 따라 다른 순서로 실행되거나 병렬로 실행될 수 있다.
본 발명은 바람직한 실시예를 통해 설명되었지만, 본 발명은 여기에 설명 된 실시예에 한정되지 않고, 본 발명의 범위를 벗어나지 않으면서 실시한 다양한 변경 및 수정을 포함한다.

Claims (10)

  1. 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법에 있어서,
    상기 방법은,
    S1) 사용자가 휴대한 단말 장치를 사용하여 상기 광학 라벨의 이미지를 캡처하는 것을 통해, 상기 광학 라벨에 대한 상기 단말 장치의 초기 위치 및 자세를 결정하는 단계;
    S2) 상기 결정된 단말 장치의 위치 및 결정상기 광학 라벨에 대한 상기 각 정보 기기의 사전 결정된 위치를 기반으로, 상기 단말 장치와 상기 각 정보 기기 사이의 상대적 위치를 결정하는 단계;
    S3) 상기 결정된 단말 장치의 자세 및 상기 단말 장치와 상기 각 정보 기기 사이의 상대적 위치에 따라, 상기 단말 장치의 디스플레이 화면에서 상기 각 정보 기기의 이미징(Imaging) 위치를 계산하는 단계; 및,
    S4) 상기 각 정보 기기와 상호 작용할 수 있도록, 상기 각 정보 기기의 디스플레이 화면의 상기 이미징 위치에 상기 각 정보 기기의 대화형 인터페이스를 각각 표시하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 단말 장치의 상기 위치 및/또는 상기 자세의 변화에 응답하여, 상기 단말 장치의 디스플레이 화면에서 상기 각 정보 기기의 상기 이미징 위치를 조정하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 방법은,
    상기 정보 기기의 상기 대화형 인터페이스에 대한 상기 사용자의 조작을 인식하는 단계; 및,
    상기 인식된 조작을, 대응하는 조작 명령으로 변환하여 네트워크를 통해 상기 정보 기기에 전송하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 정보 기기의 상기 대화형 인터페이스에 대한 상기 사용자의 조작은, 화면 입력, 키보드 입력, 음성 입력 또는 제스처 입력 중의 적어도 한 가지인 것을 특징으로 하는 방법.
  5. 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 시스템에 있어서,
    상기 하나 이상의 정보 기기; 상기 정보 기기에 대해 상대적으로 고정된 위치에 위치한 상기 광학 라벨; 상기 정보 기기 및 상기 광학 라벨과 관련된 정보를 저장하기 위한 서버; 및 이미징 장치를 갖춘 단말 장치;를 포함하되,
    상기 단말 장치는,
    상기 광학 라벨의 이미지를 캡처하여 상기 광학 라벨에 대한 상기 단말 장치의 초기 위치 및 자세를 결정하며;
    상기 결정된 단말 장치의 위치와 상기 광학 라벨에 대한 서버로부터 획득한 사전 결정된 각 정보 기기의 위치를 기반으로, 상기 단말 장치와 상기 각 정보 기기 사이의 상대적 위치를 결정하며;
    상기 결정된 단말 장치의 자세 및 상기 단말 장치와 상기 각 정보 기기 사이의 상기 상대적 위치에 따라, 상기 단말 장치의 디스플레이 화면에서 상기 각 정보 기기의 이미징 위치를 계산하며; 및,
    상기 각 정보 기기와 상호 작용할 수 있도록, 상기 각 정보 기기의 디스플레이 화면의 상기 이미징 위치에 상기 각 정보 기기의 대화형 인터페이스를 각각 표시하도록 구성되는 것을 특징으로 하는 시스템.
  6. 제5항에 있어서,
    상기 단말 장치는,
    상기 단말 장치의 상기 위치 및/또는 상기 자세의 변화에 응답하여, 상기 단말 장치의 디스플레이 화면에서 상기 각 정보 기기의 상기 이미징 위치를 조정할 수 있도록 구성되는 것을 특징으로 하는 시스템.
  7. 제5항에 있어서,
    상기 단말 장치는 또한,
    상기 정보 기기의 상기 대화형 인터페이스에 대한 상기 사용자의 조작을 인식하며; 및,
    상기 인식된 조작을, 대응하는 조작 명령으로 변환하여 네트워크를 통해 상기 정보 기기에 전송하도록 구성되는 것을 특징으로 하는 시스템.
  8. 제7항에 있어서,
    상기 정보 기기의 상기 대화형 인터페이스에 대한 상기 사용자의 조작은 화면 입력, 키보드 입력, 음성 입력 또는 제스처 입력 중의 적어도 한 가지인 것을 특징으로 하는 시스템.
  9. 프로세서 및 메모리를 포함하는 컴퓨팅 장치에 있어서,
    상기 메모리에는, 상기 프로세서에 의해 실행될 때 제1항 내지 제4항 중 어느 한 항의 방법을 구현할 수 있는 컴퓨터 프로그램이 저장되는 것을 특징으로 하는 컴퓨팅 장치.
  10. 컴퓨터 프로그램이 저장된 저장 매체에 있어서,
    상기 컴퓨터 프로그램은, 실행될 때 제1항 내지 제4항 중 어느 한 항의 방법을 구현할 수 있는 것을 특징으로 하는 저장 매체.
KR1020207035360A 2018-05-09 2019-05-08 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템 KR20210008403A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810435183.8 2018-05-09
CN201810435183.8A CN110471580B (zh) 2018-05-09 2018-05-09 基于光标签的信息设备交互方法及系统
PCT/CN2019/085997 WO2019214641A1 (zh) 2018-05-09 2019-05-08 基于光标签的信息设备交互方法及系统

Publications (1)

Publication Number Publication Date
KR20210008403A true KR20210008403A (ko) 2021-01-21

Family

ID=68468452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035360A KR20210008403A (ko) 2018-05-09 2019-05-08 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템

Country Status (7)

Country Link
US (1) US11694055B2 (ko)
EP (1) EP3792711A4 (ko)
JP (1) JP7150980B2 (ko)
KR (1) KR20210008403A (ko)
CN (1) CN110471580B (ko)
TW (1) TWI696960B (ko)
WO (1) WO2019214641A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051919B (zh) * 2019-06-05 2022-10-18 北京外号信息技术有限公司 一种基于位置的交互方法和交互系统
CN111162840B (zh) * 2020-04-02 2020-09-29 北京外号信息技术有限公司 用于设置光通信装置周围的虚拟对象的方法和系统
TWI738318B (zh) * 2020-05-05 2021-09-01 光時代科技有限公司 用於確定光通信裝置的成像區域的系統
TWI756963B (zh) * 2020-12-03 2022-03-01 禾聯碩股份有限公司 目標物件之區域定義辨識系統及其方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3904036B2 (ja) * 1996-05-17 2007-04-11 株式会社安川電機 多指多関節ハンドの制御装置
US20110001651A1 (en) * 2009-07-02 2011-01-06 Candelore Brant L Zero standby power laser controlled device
US8413881B2 (en) * 2010-02-22 2013-04-09 Into Great Companies, Inc. System of receiving prerecorded media discs from users
US8447070B1 (en) 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
JP2012037919A (ja) 2010-08-03 2012-02-23 Doshisha 拡張現実感技術を利用した情報家電操作システム
JP5257437B2 (ja) 2010-10-20 2013-08-07 コニカミノルタビジネステクノロジーズ株式会社 携帯端末及び処理装置の操作方法
JP2012156836A (ja) 2011-01-27 2012-08-16 Seiko Epson Corp リモコン装置及びプログラム
US20150025838A1 (en) * 2011-11-15 2015-01-22 Panasonic Corporation Position estimation device, position estimation method, and integrated circuit
JP6066037B2 (ja) 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
JP5603523B1 (ja) 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
JP2014139745A (ja) 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
US9696703B2 (en) * 2013-05-18 2017-07-04 Fipak Research And Development Company Method and apparatus for ensuring air quality in a building, including method and apparatus for controlling a working device using a handheld unit having scanning, networking, display and input capability
WO2015008102A1 (en) * 2013-07-19 2015-01-22 Niss Group Sa System and method for indentifying and authenticating a tag
CN103823204B (zh) * 2014-03-10 2015-03-11 北京理工大学 一种基于可见光标签的室内定位方法
CN104168060B (zh) 2014-07-09 2017-12-01 珠海横琴华策光通信科技有限公司 一种利用可见光信号传输信息/获取信息的方法和装置
CN105740936B (zh) * 2014-12-12 2019-03-08 方俊 一种光标签和识别光标签的方法及设备
US20210203994A1 (en) * 2015-06-12 2021-07-01 Shaoher Pan Encoding data in a source image with watermark image codes
US9838844B2 (en) * 2015-09-25 2017-12-05 Ca, Inc. Using augmented reality to assist data center operators
JP2017130047A (ja) 2016-01-20 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
CN105718840B (zh) * 2016-01-27 2018-07-24 西安小光子网络科技有限公司 一种基于光标签的信息交互系统及方法
CN105740375A (zh) * 2016-01-27 2016-07-06 西安小光子网络科技有限公司 一种基于多个光标签的信息推送系统及方法
CN106372556B (zh) * 2016-08-30 2019-02-01 西安小光子网络科技有限公司 一种光标签的识别方法
CN106446737B (zh) * 2016-08-30 2019-07-09 西安小光子网络科技有限公司 一种多个光标签的快速识别方法
CN106408667B (zh) * 2016-08-30 2019-03-05 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106446883B (zh) * 2016-08-30 2019-06-18 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN106339488B (zh) * 2016-08-30 2019-08-30 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN107784414B (zh) * 2016-08-31 2021-06-04 湖南中冶长天节能环保技术有限公司 一种生产过程参数管理系统
US10284293B2 (en) * 2016-09-23 2019-05-07 Qualcomm Incorporated Selective pixel activation for light-based communication processing
JP6546705B2 (ja) 2016-10-11 2019-07-17 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
CN107368805A (zh) * 2017-07-17 2017-11-21 深圳森阳环保材料科技有限公司 一种基于智能家居系统电器识别的遥控器
CN107703872B (zh) * 2017-10-31 2020-07-10 美的智慧家居科技有限公司 家电设备的终端控制方法、装置及终端
CN107734449B (zh) * 2017-11-09 2020-05-12 陕西外号信息技术有限公司 一种基于光标签的室外辅助定位方法、系统及设备
US10841174B1 (en) * 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface

Also Published As

Publication number Publication date
CN110471580B (zh) 2021-06-15
TW201947457A (zh) 2019-12-16
US11694055B2 (en) 2023-07-04
EP3792711A1 (en) 2021-03-17
CN110471580A (zh) 2019-11-19
WO2019214641A1 (zh) 2019-11-14
US20210056370A1 (en) 2021-02-25
JP2021524119A (ja) 2021-09-09
TWI696960B (zh) 2020-06-21
EP3792711A4 (en) 2022-01-26
JP7150980B2 (ja) 2022-10-11

Similar Documents

Publication Publication Date Title
KR20210008403A (ko) 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US9257035B2 (en) Remote control device, remote control system, and storage medium storing control program, and medium to be attached to electrical device
CN101268434B (zh) 自主手持设备及控制自主手持设备的操作的方法
US20150244911A1 (en) System and method for human computer interaction
EP3548993A1 (en) Virtual sensor configuration
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US20140355819A1 (en) Device and method for allocating data based on an arrangement of elements in an image
US9268408B2 (en) Operating area determination method and system
TWI733107B (zh) 基於光標籤網路的導航方法、相應的計算設備和儲存介質
Chen et al. Snaplink: Fast and accurate vision-based appliance control in large commercial buildings
JP2014099176A5 (ko)
WO2010082226A1 (en) Pointing device, graphic interface and process implementing the said device
JP6355081B2 (ja) 情報処理装置
CN102947772B (zh) 用于确定输入的方法和装置
KR101116582B1 (ko) 이차원 코드를 이용한 어플리케이션 다운로드 방법
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
CN112529770B (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113760131A (zh) 投影触控处理方法、装置及计算机可读存储介质
US9413950B2 (en) Determining a device identifier from a light signal emitted by a device
WO2019214644A1 (zh) 基于光标签网络的辅助识别方法
US11507245B1 (en) Systems and methods for enhancing image content captured by a machine vision camera
WO2019214645A1 (zh) 用于构建光标签网络的方法及相应的光标签网络
CN117336456A (zh) 针对虚拟拍摄系统的空间校准方法、装置、设备及介质
CN114626116A (zh) 建筑空间的模型生成系统及模型建构方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application