KR20220044897A - 웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체 - Google Patents

웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체 Download PDF

Info

Publication number
KR20220044897A
KR20220044897A KR1020217036427A KR20217036427A KR20220044897A KR 20220044897 A KR20220044897 A KR 20220044897A KR 1020217036427 A KR1020217036427 A KR 1020217036427A KR 20217036427 A KR20217036427 A KR 20217036427A KR 20220044897 A KR20220044897 A KR 20220044897A
Authority
KR
South Korea
Prior art keywords
scenario
wearable device
information
depth
visible light
Prior art date
Application number
KR1020217036427A
Other languages
English (en)
Inventor
리 카오
수보 시앙
종후아 쉐
진진 리우
잉이 장
Original Assignee
선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 센스타임 테크놀로지 컴퍼니 리미티드 filed Critical 선전 센스타임 테크놀로지 컴퍼니 리미티드
Publication of KR20220044897A publication Critical patent/KR20220044897A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors

Abstract

본 출원은 웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템을 제공하고, 본 출원의 실시예는 조명 강도가 비교적 클 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 클 경우, 제2 가시광 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정하고; 조명 강도가 비교적 작을 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 작을 경우, 깊이 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정한다. 상이한 환경 조명 강도에 따라, 상이한 부재를 선택하여 이미지를 수집함으로써, 목표 대상에게 가이드 서비스를 제공하는 것을 구현하였으므로, 조명 강도의 변화를 효율적으로 적응하고, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.

Description

웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체
본 발명은 출원 번호가 202011060870. X이고, 출원일이 2020년 9월 30일이고 출원 명칭이”웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템”인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원은 이미지 처리 기술 분야에 관한 것이고, 특히 웨어러블 기기, 스마트 가이드 방법 및 장치, 웨어러블 기기, 가이드 시스템, 저장 매체에 관한 것이다.
시력 장애가 존재한 사람들의 인수는 거대하고, 이 부분 사람들의 출행 범위가 한정 받으며, 활동 범위가 매우 작고, 출행에는 매우 큰 안전 위험이 존재하므로, 이 부분 사람들의 생활 품질이 떨어지게 된다.
기존의 가이드 블라인드 기술은 카메라가 환경에 대한 적응 능력이 비교적 차하고, 조명 강도 변화가 비교적 큰 시나리오를 잘 적응할 수 없으며, 조명 강도의 변화가 비교적 클 경우, 풍부한 환경 정보를 획득할 수 없고; 무늬가 부족하고, 외관이 매끄러우며, 투명도가 높고 또는 거리가 비교적 먼 장애물을 효과적으로 검출할 수 없다. 따라서, 기존의 가이드 블라인드 기술은 장애물을 정확하게 검출할 수 없고, 시력 장애가 존재하는 사람에게 안전성이 높은 가이드 블라인드 서비스를 제공할 수 없다.
본 출원의 실시예는 적어도 웨어러블 기기에 기반하는 스마트 가이드 방법 및 장치, 웨어러블 기기, 가이드 시스템, 저장 매체를 제공하여, 깊이 정보 검출의 정확성, 및 가이드의 정확성 및 안전성을 향상시킨다.
제1 측면에 있어서, 본 출원의 실시예는 웨어러블 기기에 기반하는 스마트 가이드 방법을 제공하고, 상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고, 상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하는 단계;
상기 제1 시나리오 이미지의 휘도를 검출하는 단계;
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하는 단계;
상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계; 및
상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계를 포함한다.
상기 방안은, 조명 강도가 비교적 클 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 클 경우, 제2 가시광 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정하고; 조명 강도가 비교적 작을 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 작을 경우, 깊이 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정한다. 이로써, 상이한 환경 조명 강도에 따라, 상이한 부재를 선택하여 이미지를 수집함으로써, 목표 대상에게 가이드 서비스를 제공하는 것을 구현하였으므로, 조명 강도의 변화를 효율적으로 적응하고, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.
한 가지 가능한 실시 형태에 있어서, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재에 제1 노광 명령어를 송신하고, 상기 제2 가시광 촬영 부재가 상기 제1 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하고,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재에 제2 노광 명령어를 송신하고, 상기 깊이 촬영 부재가 상기 제2 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함한다.
상기 실시 형태는, 조명 강도가 비교적 클 경우, 제2 가시광 촬영 부재를 제어하여 노광을 수행하고, 조명 강도가 비교적 작을 경우, 깊이 촬영 부재를 제어하여 노광을 수행하며, 상이한 환경 조명 강도에 따라, 상이한 촬영 부재을 스위칭하여 대상의 깊이 정보를 결정하기 위한 제2 시나리오 이미지를 수집하는 것을 구현하여, 조명 강도의 변화를 주동적으로 적응할 수 있으므로, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.
한 가지 가능한 실시 형태에 있어서, 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제1 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트와 상기 제2 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트를 매칭하여, 픽셀 포인트 쌍을 얻는 단계; 및
상기 픽셀 포인트 쌍에 대응되는 시차 정보, 상기 제1 가시광 촬영 부재와 상기 제2 가시광 촬영 부재의 중심 거리 및 상기 제1 가시광 촬영 부재의 초점 거리에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 단계를 포함한다.
상기 실시 형태는, 조명 강도가 비교적 강할 경우, 제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지 및 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 결합하여 시나리오에서의 대상의 깊이 정보를 비교적 정확하게 결정할 수 있다.
한 가지 가능한 실시 형태에 있어서, 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 시나리오에서의 대상이 상기 제2 시나리오 이미지에서의 타깃 픽셀 포인트를 결정하는 단계; 및
상기 제2 시나리오 이미지에서의 상기 타깃 픽셀 포인트의 깊이 정보에 따라, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 단계를 포함한다.
상기 실시 형태는, 조명 강도가 비교적 약할 경우, 깊이 촬영 부재가 수집한 깊이 이미지, 즉 깊이 촬영 부재가 수집한 제2 시나리오 이미지에서의 픽셀 포인트의 깊이 정보를 이용하여, 시나리오에서의 대상의 깊이 정보를 비교적 정확하게 결정할 수 있고, 무늬가 부족한 장애물을 검출할 수 있으므로, 조명 강도가 비교적 약할 경우 장애물 검출의 정확성을 향상시킨다.
한 가지 가능한 실시 형태에 있어서, 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
제시 정보를 생성하는 단계 - 상기 제시 정보는 상기 웨어러블 기기를 착용하는 목표 대상에게 상기 깊이 정보를 제시하기 위한 것임 - 를 포함한다.
상기 실시 형태는, 목표 대상에게 시나리오에서의 대상의 깊이 정보를 제시하므로, 타깃이 독점한 작동에 대해 효과적인 가이드를 수행하여, 가이드 효율 및 가이드의 안전성을 향상시킨다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정하는 단계를 더 포함하고,
상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계를 포함한다.
상기 실시 형태는, 방위 정보 및 깊이 정보에 기반하여, 목표 대상을 위해 정보량이 더 크고, 내용이 더 풍부한 가이드 정보를 생성할 수 있으므로, 가이드의 효율 및 가이드의 안전성을 추가적으로 향상할 수 있다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기는 또한 초음파 감지 부재를 포함하고,
상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
상기 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰 것 및 상기 제1 시나리오 이미지에서 기설정 카테고리의 대상이 포함되는 것이 검출되는 것 중 적어도 하나에 응답하여, 상기 초음파 감지 부재에 초음파 감지 명령어를 송신하고, 상기 초음파 감지 부재가 상기 초음파 감지 명령어에 기반하여 감지한 초음파 피드백 신호를 수신하는 단계; 및
수신된 상기 초음파 피드백 신호에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 업데이트하는 단계를 더 포함한다.
상기 실시 형태는, 환경이 복잡하고 또는 물체 자신의 특성의 영향으로 인해, 가시광 촬영 부재 또는 깊이 촬영 부재를 통해 촬영된 제2 시나리오 이미지는 시나리오에서의 대상의 깊이 정보를 정확하게 결정할 수 없게 되고, 또는 제1 시나리오 이미지에서 투명도가 비교적 높거나 외관이 비교적 매끄러운 등 특성을 포함하는 대상이 검출될 경우, 초음파 감지 부재를 이용하여 깊이 정보 검출을 수행하므로, 웨어러블 기기의 적용성을 향상하고, 더욱 복잡한 환경에서 시나리오에서의 대상의 깊이 정보를 더욱 정확하게 검출할 수 있다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기는 또한 자세 측정 부재를 포함하고,
상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
자세 측정 부재가 수집한 웨어러블 기기의 자세 정보를 획득하는 단계; 및
상기 자세 정보에 따라 상기 웨어러블 기기를 착용하는 목표 대상의 자세가 제1 기설정 자세인 것을 결정하는 것에 응답하여, 자세 보정 제시 정보를 생성하는 단계를 더 포함한다.
상기 실시 형태는, 자세 측정 부재를 통해 측정된 웨어러블 기기의 자세 정보는, 목표 대상의 자세가 제1 기설정 자세일 경우, 목표 대상에게 자세를 보정하도록 알리는 자세 보정 제시 정보를 생성함으로써, 웨어러블 기기가 목표 대상의 작동을 영향하는 대상을 촬영하도록 할 수 있고, 추가적으로 가이드 정보의 정확성 및 가이드의 안전성을 향상시킨다.
한 가지 가능한 실시형태에 있어서, 상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를 결정하는 단계; 및
상기 웨어러블 기기의 자세 정보에 기반하여, 상기 방위 정보를 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하는 단계를 더 포함하고,
상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
스위칭된 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보 및 자세 보정 제시 정보 중 적어도 하나를 생성하는 단계를 포함한다.
상기 실시 형태는, 시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를, 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하여, 목표 대상의 작동에 대해 효과적인 방위 정보를 생성하고, 상기 효과적인 방위 정보를 이용하여 더욱 정확하고 효과적인 가이드 정보를 생성할 수 있다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기는 또한 발성 부재를 포함하고,
상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
상기 가이드 정보에 기반하여 음성 네비게이션 정보를 생성하고, 상기 발성 부재에 송신하며, 상기 발성 부재가 상기 목표 대상에 상기 음성 네비게이션 정보를 플레이하는 단계를 더 포함한다.
상기 실시 형태는, 음성 네비게이션 정보 및 발성 부재를 이용하여 효과적으로 목표 대상을 가이드하여 장애물을 피할 수 있으므로, 가이드 효율 및 안전성을 향상시킨다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기는 또한 주파수 분할 회로를 포함하고,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제3 노광 명령어를 제2 가시광 촬영 부재에 송신하고, 상기 제2 가시광 촬영 부재가 상기 제3 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것, 및
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제4 노광 명령어를 깊이 촬영 부재에 송신하고, 상기 깊이 촬영 부재가 상기 제4 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것 중 적어도 하나이다.
상기 실시 형태는, 주파수 분할 회로를 이용하여 노광 명령어에 대해 주파수 분할 처리를 수행하고, 주파수 분할 처리를 통해 얻은 노광 명령어를 이용하여 제2 가시광 촬영 부재 또는 깊이 촬영 부재를 제어하여 이미지를 수집하므로, 상이한 프레임 주파수를 제어하는 촬영 부재가 동시에 노광하는 것을 구현하여, 에너지 소비를 절약한다.
제2 측면에 있어서, 본 출원의 실시예는 웨어러블 기기에 기반하는 스마트 가이드 장치을 제공하고, 상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고, 상기 웨어러블 기기에 기반하는 스마트 가이드 장치는,
제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하도록 구성된 제1 이미지 획득 모듈;
상기 제1 시나리오 이미지의 휘도를 검출하도록 구성된 휘도 검출 모듈;
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하도록 구성된 제2 이미지 획득 모듈;
상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하도록 구성된 검출 모듈; 및
상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하도록 구성된 가이드 정보 생성 모듈을 포함한다.
제3 측면에 있어서, 본 출원의 실시예는 웨어러블 기기를 제공하고, 처리 부재, 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하며,
상기 제1 가시광 촬영 부재는, 제1 시나리오 이미지를 수집하도록 구성되고;
상기 제2 가시광 촬영 부재 및 상기 깊이 촬영 부재는 제2 시나리오 이미지를 수집하도록 구성되며;
상기 처리 부재는, 상기 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하도록 구성된다.
한 가지 가능한 실시 형태에 있어서, 상기 웨어러블 기기 또한 신호 직렬 부재, 신호 전송 케이블 및 신호 역직렬 부재를 포함하고,
상기 신호 직렬 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재, 깊이 촬영 부재와 통신 연결되며; 상기 신호 전송 케이블의 양단은 상기 신호 직렬 부재 및 신호 역직렬 부재와 각각 연결되고; 상기 신호 역직렬 부재는 상기 처리 부재와 통신 연결되며,
상기 제1 가시광 촬영 부재는 또한, 상기 제1 시나리오 이미지를 상기 신호 직렬 부재에 송신하도록 구성되고;
상기 제2 가시광 촬영 부재 및 상기 깊이 촬영 부재는 또한, 상기 제2 시나리오 이미지를 상기 신호 직렬 부재에 송신하도록 구성되며;
상기 신호 직렬 부재는, 수신된 제1 시나리오 이미지 및 제2 시나리오 이미지를 직렬 신호로 스위칭하고, 상기 신호 전송 케이블을 통해 상기 신호 역직렬 부재에 송신하도록 구성되며;
상기 신호 역직렬 부재는, 수신된 신호를 역직렬 처리하고, 역직렬 처리를 통해 얻은 신호를 상기 처리 부재에 송신하도록 구성된다.
상기 실시 형태는, 신호 직렬 부재를 이용하여 촬영 부재가 촬영한 이미지를 직렬 신호로 스위칭하고, 예를 들어 트위스트 페어선 고속 차동 신호를 이용하여 전송할수 있으므로, 두 개의 선만 이용하여 신호를 전송할 수 있고, 전송 속도가 더욱 빠르며, 비용이 더욱 낮고, 전송 거리가 더욱 멀며, 부재의 체적이 더 작다.
한 가지 가능한 실시 형태에 있어서, 상기 깊이 촬영 부재는 TOF 카메라를 포함한다.
상기 실시 형태는, TOF 카메라를 이용하여 조명 강도가 비교적 약할 경우, 시나리오에서 대상의 깊이 정보를 비교적 정확하게 획득할 수 있다.
제4 측면에 있어서, 본 출원의 실시예는 가이드 시스템을 제공하고, 웨어러블 기기 및 호스트를 포함하며,
상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하며,
상기 호스트는 처리 부재를 포함하고, 상기 처리 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재와 신호 전송 케이블을 통해 연결되며, 상기 처리 부재는 상기 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하도록 구성된다.
한 가지 가능한 실시 형태에 있어서, 상기 호스트는 상기 처리 부재와 연결되는 포지셔닝 모듈, 네트워크 모듈, 작업 상태를 검출하는 것 및 충전 관리 중 정어도 하나를 위한 마이크로 제어 유닛, 오디오 모듈 중 적어도 하나가 설치되어 있다.
제5 측면에 있어서, 본 출원의 실시예는 전자 기기를 제공하고, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있고, 전자 기기가 작동되는 경우, 상기 프로세서와 상기 메모리 사이는 버스를 토해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행 될 경우 상기 스마트 가이드 방법의 단계를 실행한다.
제6 측면에 있어서, 본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동되는 경우 상기 스마트 가이드 방법의 단계를 실행한다.
제7 측면에 있어서, 본 출원의 실시예는 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은 하나 또는 복수 개의 명령어를 포함하고, 상기 하나 또는 복수 개의 명령어는 프로세서에 의해 로딩되는 것에 적합하고 상기 스마트 가이드 방법의 단계를 실행한다.
본 출원의 상기 목적, 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.
본 출원의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 출원에 부합되는 실시예를 도시하며, 명세서와 함께 본 출원의 기술방안을 설명하기 위한 것이다.
이해해야 할 것은, 아래의 도면은 본 출원의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 출원의 실시예에서 제공한 웨어러블 기기에 기반하는 스마트 가이드 방법의 흐름도이다.
도 2는 본 출원의 실시예에서 제공한 웨어러블 기기의 구조 예시도이다.
도 3은 본 출원의 실시예에서 제공한 가이드 시스템의 구조 예시도이다.
도 4는 본 출원의 실시예에서 제공한 전자 기기의 예시도이다.
도 5는 본 출원의 실시예에서 제공한 웨어러블 기기에 기반하는 스마트 가이드 장치의 구조 예시도이다.
본 출원의 실시예의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 출원의 실시예에서의 도면과 결합하여, 본 출원의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 출원의 전부 실시예가 아닌 일부 실시예라는 것은 명백하다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 출원의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 출원의 실시예의 상세한 설명은 본 출원의 범위를 한정하려는 것이 아니고, 본 출원의 설정된 실시예를 나타내기 위한 것일 뿐이다. 본 출원의 실시예에 기반하여, 본 분야의 통상의 기술자가 창조성 노동을 부여하지 않은 전제 하에서 얻은 다른 실시예는 전부 본 출원의 청구 범위에 속한다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의 및 해석될 필요가 없다.
본문에서의 용어 "및/또는”은 다만 연관 관계를 설명하기 위한 것으로, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, "A 및/또는 B"는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 "적어도 하나"라는 용어는 복수 개 중 어느 하나 또는 복수 개 중 적어도 2 개의 임의의 조합을 나타내며, 예를 들어, A, B 및 C 중 적어도 하나는 A, B 및 C에 의해 형성된 집합에서 선택된 임의의 하나 또는 복수 개의 요소를 나타낼 수 있다.
본 출원의 실시예는 웨어러블 기기에 기반하는 스마트 가이드 방법 및 장치, 웨어러블 기기, 가이드 시스템, 전자기기 및 저장 매체를 제공하고, 여기서, 조명 강도가 비교적 클 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 클 경우, 제2 가시광 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정하고; 조명 강도가 비교적 작을 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 작을 경우, 깊이 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정한다. 이로써, 상이한 환경 조명 강도에 따라, 상이한 부재를 선택하여 이미지를 수집함으로써, 목표 대상에게 가이드 서비스를 제공하는 것을 구현하였으므로, 조명 강도의 변화를 효율적으로 적응하고, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.
아래는 본 출원에서 제공한 웨어러블 기기에 기반하는 스마트 가이드 방법 및 장치, 웨어러블 기기, 가이드 시스템, 전자 기기 및 저장 매체의 실시예를 설명한다.
본 출원의 실시예에서 제공한 웨어러블 기기에 기반하는 스마트 가이드 방법은 처리 부재에 적용될 수 있고, 상기 처리 부재는 웨어러블 기기에서의 하나의 부재일 수 있고, 독립적으로 하나의 호스트에 위치할 수도 있다.
웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함한다.
상기 처리 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재와 통신 연결한다.
웨어러블 기기는 목표 대상의 헤드부에 착용되고, 하나의 헤드 기기로 사용된다.
제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 하나의 헤드 기기로 결합하여, 목표 대상의 헤드부에 착용될 수 있다. 처리 부재는 목표 대상의 팔 등과 같은 목표 대상의 다른 부위 착용되거나 고정될 수 있다. 본 출원의 실시예는 상기 각 부재가 목표 대상에서의 위치에 대해 한정하지 않는다.
상기 목표 대상은 시력에 장애가 존재하는 대상일 수 있다. 본 출원의 실시예에서 제공한 가이드 정보를 이용하여 목표 대상이 장애물을 피하여, 안전하게 걸을 수 있도록 가이드할 수 있다.
본 출원의 실시예의 스마트 가이드 방법은 시나리오에서의 대상의 깊이 정보를 검출하고, 검출하여 얻은 깊이 정보에 기반하여 가이드 정보를 생성하기 위한 것이다. 도 1에 도시된 바와 같이, 상기 웨어러블 기기에 기반하는 스마트 가이드 방법은 아래의 단계를 포함할 수 있다.
단계 S110에 있어서, 제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득한다.
상기 제1 가시광 촬영 부재는 상기 웨어러블 기기 주변의 제1 시나리오 이미지를 촬영하고, 상기 처리 부재에 송신하도록 구성된다. 제1 가시광 촬영 부재가 촬영한 시나리오 이미지의 프레임 레이트가 비교적 높고, 제1 가시광 촬영 부재가 촬영한 제1 시나리오 이미지에서 대상의 위치에 따라, 시나리오에서 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정할 수 있다.
제1 가시광 촬영 부재는 RGB(Red Green Blue) 촬영 부재일 수 있다.
단계 S120에 있어서, 상기 제1 시나리오 이미지의 휘도를 검출한다.
여기서, 여러 가지의 이미지 휘도 검출 방법을 채택하여 검출할 수 있고, 예를 들어 미리 훈련된 신경망을 이용하여 제1 시나리오 이미지의 휘도를 검출할 수 있고, 또는 제1 시나리오 이미지에서 각 영역 또는 각 픽셀 포인트의 휘도에 대해 분포 통계하거나 평균값을 계산하여, 제1 시나리오 이미지의 휘도를 얻을 수 있다.
제1 시나리오 이미지의 휘도는 현재 시나리오의 조명 강도를 반영할 수 있고, 조명 강도가 강할 수록, 제1 시나리오 이미지의 휘도가 더 높고, 반대로, 조명 강도가 약할 수록, 제1 시나리오 이미지의 휘도가 더 낮다. 따라서, 제1 시나리오 이미지의 휘도에 기반하여 현재 시나리오 조명 강도를 판단할 수 있으므로, 제2 가시광 촬영 부재가 수집한 이미지 또는 깊이 촬영 부재가 수집한 이미지를 선택하는 것을 결정하여 시나리오의 깊이 정보를 추가적으로 계산하므로, 조명 강도의 변화를 적응하고, 대상의 깊이 정보 검출 및 생성된 가이드 정보의 정확성을 향상시킨다.
단계 S130에 있어서, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득한는 것 중 적어도 하나를 수행한다.
제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족할 경우, 현재 시나리오의 조명 강도 비교적 크고, 이때 제2 가시광 촬영 부재 측에서 제2 시나리오 이미지를 획득할 수 있다.
조명 강도가 비교적 강할 경우, 가시광 촬영 부재의 이미지 형성 효과 비교적 좋고, 두 개의 가시광 촬영 부재에 의해 촬영된 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정할 수 있다. 조명 강도가 비교적 약할 경우, 두 개의 가시광 촬영 부재를 이용한 이미지 형성 효과가 비교적 차하고, 정확한 깊이 정보를 획득할 수 없다. 이때 깊이 촬영 부재를 이용하여 깊이 이미지를 수집하여 깊이 정보를 획득할 수 있다.
제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않을 경우, 현재 시나리오의 조명 강도는 비교적 약하고, 이때 깊이 촬영 부재 측에서 제2 시나리오 이미지를 획득할 수 있다.
시나리오의 조명 강도가 비교적 약할 경우, 두 개의 가시광 촬영 부재를 이용한 이미지 형성 효과가 비교적 차하고, 정확한 깊이 정보를 획득할 수 없으며, 이때 깊이 촬영 부재에 의해 촬영된 시나리오 이미지를 이용하여 시나리오에서의 물체의 깊이 정보를 검출할 수 있고, 이로써 조명 강도가 약하므로 인한 장애물을 검출할 수 없는 문제를 극복할 수 있다. 또한, 두 개의 가시광 촬영 부재에 의해 촬영된 시나리오 이미지는 하늘, 사막, 흰 벽 등과 같은 무늬가 부족한 장애물의 깊이 정보를 효과적으로 검출할 수 없지만; 깊이 촬영 부재가 수집한 시나리오 이미지를 이용하여 상기 무늬가 부족한 장애물의 깊이 정보를 효과적으로 검출할 수 있다.
제2 가시광 촬영 부재는 RGB 촬영 부재일 수 있다. 상기 깊이 촬영 부재는 비행 시간(Time of Flight, TOF)에 기반하여 이미지를 형성하는 카메라, 즉 TOF 카메라일 수 있다. TOF 카메라를 이용하여 조명 강도가 비교적 약할 경우, 시나리오에서의 대상의 깊이 정보를 비교적 정확하게 획득할 수 있다.
단계 S140에 있어서, 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정한다.
제2 시나리오 이미지가 제2 가시광 촬영 부재가 수집한 이미지의 경우, 양안시의 원리에 따라, 제1 시나리오 이미지 및 제2 시나리오 이미지에 기반하여 이미지에서 물체에 대응되는 시나리오에서의 대상의 깊이 정보를 계산할 수 있다. 현재 시나리오의 조명 강도가 비교적 클 경우, 두 개의 가시광 촬영 부재가 수집한 두 개의 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 비교적 정확하게 결정할 수 있다.
예를 들어, 먼저 상기 제1 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트와 상기 제2 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트를 매칭하여, 픽셀 포인트 쌍을 얻는 다음; 상기 픽셀 포인트 쌍에 대응되는 시차 정보, 상기 제1 가시광 촬영 부재와 상기 제2 가시광 촬영 부재의 중심 거리 및 상기 제1 가시광 촬영 부재의 초점 거리에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 결정한다.
제2 시나리오 이미지가 깊이 촬영 부재가 수집한 깊이 이미지일 경우, 직접 깊이 촬영 부재에 의해 감지된 깊이 정보에 기반하여 시나리오에서의 대상의 깊이 정보를 결정할 수 있다.
현재 시나리오의 조명 강도가 비교적 낮을 경우, TOF카메라를 이용하여 조명 강도가 비교적 약할 경우, 시나리오에서 대상의 깊이 정보를 비교적 정확하게 획득할 수 있다.
예를 들어, 먼저 시나리오에서의 대상이 상기 제2 시나리오 이미지에서의 타깃 픽셀 포인트를 결정한 다음; 상기 제2 시나리오 이미지에서의 상기 타깃 픽셀 포인트의 깊이 정보에 따라, 상기 시나리오에서의 대상의 깊이 정보를 결정한다. 예를 들어, 타깃 검출을 통해 제2 시나리오 이미지에서 시나리오에서의 대상의 위치를 검출하므로, 검출 결과에 따라 제2 시나리오 이미지에서 대응된 위치 픽셀 포인트의 깊이 정보를 상기 대상의 깊이 정보로 결정할 수 있다.
단계 S150에 있어서, 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성한다.
여기서, 깊이 정보에 기반하여 제시 정보를 생성할 수 있고, 상기 제시 정보는 상기 웨어러블 기기를 착용하는 목표 대상에게 상기 깊이 정보를 제시하기 위한 것이다. 목표 대상에게 시나리오에서의 대상의 깊이 정보를 제시하므로, 타깃이 독점한 작동에 대해 효과적인 가이드를 수행하여, 가이드 효율 및 가이드의 안전성을 향상시킨다.
또한, 목표 대상에게 더욱 풍부한 가이드 정보를 제공하기 위해, 예를 들어 목표 대상에게 장애물의 방향 정보 및 깊이 정보의 가이드 정보를 제공하기 위해, 여기서, 아래의 단계를 이용하여 가이드 정보를 생성할 수 있다.
상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정하고; 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성한다.
방위 정보 및 깊이 정보에 기반하여 생성된 가이드 정보는 추가적으로 가이드의 효율 및 가이드의 안전성을 향상할 수 있다.
구체적으로 실시에 적용될 경우, 대상이 제1 시나리오 이미지에서의 위치에 따라, 대상 웨어러블 기기를 기준으로 하는 방위 정보를 결정할 수 있다. 여기서, 방위 정보는 방위각을 포함할 수 있고, 또는, 방위 정보는 미리 할당된 방위에서의 하나를 나타낼 수 있으며, 미리 할당된 방위는 예를 들어 전방 좌측, 전방 우측, 정면을 포함할 수 있다. 예를 들어, 대상 A가 제1 시나리오 이미지에서의 왼쪽에 위치하는 것에 응답하여, 대상 웨어러블 기기를 기준으로 하는 방위 정보를 전방 좌측으로 결정할 수 있고, 대상 A가 제1 시나리오 이미지에서의 오른쪽에 위치하는 것에 응답하여, 대상 웨어러블 기기를 기준으로 하는 방위 정보를 전방 우측으로 결정할 수 있으며, 대상 A가 제1 시나리오 이미지에서의 중간에 위치하는 것에 응답하여, 대상 웨어러블 기기를 기준으로 하는 방위 정보를 정면으로 결정할 수 있다.
일부 실시예에 있어서, 조명 강도에 따라 상이한 촬영 부재를 스위칭하여 제2 시나리오 이미지를 수집하는 단계는 구체적으로 아래의 단계를 이용하여 구현될 수 있다.
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하고, 즉 현재 시나리오의 조명 강도가 비교적 강할 경우, 처리 부재는 상기 제2 가시광 촬영 부재에 제1 노광 명령어를 송신하고, 제2 가시광 촬영 부재는 제1 노광 명령어에 기반하여 노광하여, 제2 시나리오 이미지를 수집한다. 다음, 처리 부재는 제2 가시광 촬영 부재측에서 제2 시나리오 이미지를 획득한다.
물론, 제2 가시광 촬영 부재는 계속 제2 시나리오 이미지를 수집하고, 처리 부재에 의해 송신된 제1 노광 명령어가 수신될 경우만, 대응되는 시간에 수집한 제2 시나리오 이미지를 처리 부재에 송신할 수도 있다.
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않고, 즉 현재 시나리오의 조명 강도가 비교적 낮을 경우, 처리 부재는 상기 깊이 촬영 부재에 제2 노광 명령어를 송신하고, 깊이 촬영 부재는 제2 노광 명령어에 기반하여 노광하여, 제2 시나리오 이미지를 수집한다. 다음, 수집 부재는 깊이 촬영 부재 측에서 제2 시나리오 이미지를 획득한다.
물론, 깊이 촬영 부재는 계속 제2 시나리오 이미지를 수집하고, 처리 부재에 의해 송신된 제2 노광 명령어가 수신될 경우만, 대응되는 시간에 수집한 제2 시나리오 이미지를 처리 부재에 송신할 수도 있다.
조명 강도가 비교적 클 경우, 제2 가시광 촬영 부재를 제어하여 노광을 수행하고, 조명 강도가 비교적 작을 경우, 깊이 촬영 부재를 제어하여 노광을 수행하며, 상이한 환경 조명 강도에 따라, 상이한 촬영 부재을 스위칭하여 대상의 깊이 정보를 결정하기 위한 제2 시나리오 이미지를 수집하는 것을 구현하여, 본 출원의 실시예의 스마트 가이드 방법이 조명 강도의 변화를 적응할 수 있도록 하므로, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.
또한, 제2 가시광 촬영 부재에 의해 촬영된 시나리오 이미지가 시나리오에서 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 대상의 타입 정보 중 적어도 하나 결정하기 위한 것이 아니므로, 제2 가시광 촬영 부재에 의해 촬영된 시나리오 이미지의 프레임 레이트는 제1 가시광 촬영 부재에 비해 비교적 낮고, 이와 같이 깊이 정보 검출의 수요를 만족할 수 있고, 또한 제2 가시광 촬영 부재의 전력 소비를 저하하여, 웨어러블 기기의 방열량을 감소할 수 있다.
예를 들어, 주파수 분할 회로를 통해 제1 가시광 촬영 부재와 제2 가시광 촬영 부재가 상이한 프레임 레이트에서의 동기 노광을 구현할 수 있고; 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족할 경우, 처리 부재 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며, 주파수 분할 처리를 통해 얻은 제3 노광 명령어를 제2 가시광 촬영 부재에 송신한다. 다음 처리 부재는 상기 제2 가시광 촬영 부재가 상기 제3 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득한다. 제1 가시광 촬영 부재가 이미지를 수집하는 프레임 레이트가 비교적 높으므로, 제1 가시광 수집 부재는 처리 부재에 기반하여 상기 주파수 분할 회로에 노광 명령어를 송신하여 노광할 수 있고, 처리 부재가 상기 주파수 분할 회로에 노광 명령어를 송신하는 동시에, 제1 가시광 촬영 부재에 노광 명령어를 송신한다.
깊이 촬영 부재의 전력 소비를 절약하기 위해, 깊이 촬영 부재가 제1 가시광 촬영 부재보다 낮은 주파수로 노광하도록 제어하므로, 깊이 촬영 부재에 의해 촬영된 이미지의 프레임 레이트가 제1 가시광 촬영 부재에 비해 비교적 낮고, 이와 같이 깊이 정보 검출의 수요를 만족할 수 있고, 또한 제2 가시광 촬영 부재의 전력 소비를 저하하여, 웨어러블 기기의 방열량을 감소할 수 있다.
예를 들어, 주파수 분할 회로를 통해 제1 가시광 촬영 부재와 깊이 촬영 부재가 상이한 프레임 레이트에서의 동기 노광을 구현할 수 있고; 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않을 경우, 처리 부재 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며, 주파수 분할 처리를 통해 얻은 제4 노광 명령어를 깊이 촬영 부재에 송신하고, 다음, 처리 부재는 상기 깊이 촬영 부재가 상기 제4 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득한다. 제1 가시광 촬영 부재가 이미지를 수집하는 프레임 레이트가 비교적 높으므로, 제1 가시광 수집 부재는 처리 부재에 기반하여 상기 주파수 분할 회로에 노광 명령어를 송신하여 노광할 수 있고, 처리 부재가 상기 주파수 분할 회로에 노광 명령어를 송신하는 동시에, 제1 가시광 촬영 부재에 노광 명령어를 송신한다.
주파수 분할 회로를 이용하여 노광 명령어에 대해 주파수 분할 처리를 수행하고, 주파수 분할 처리를 통해 얻은 노광 명령어를 이용하여 제2 가시광 촬영 부재 또는 깊이 촬영 부재를 제어하여 이미지를 수집하므로, 상이한 프레임 주파수를 제어하는 촬영 부재가 동기 노광하는 것을 구현하여, 에너지 소비를 절약한다.
환경 조명 강도가 비교적 약할 경우, 제1 가시광 촬영 부재 및 깊이 촬영 부재에 의해 촬영된 이미지를 이용하여 시나리오에서의 대상의 깊이 정보르 검출할 수 있지만, 상기 형태는 비교적 먼 거리의 대상의 깊이 정보 검출에 적용하지 않는 동시에, 상기 형태는 유리, 수면 등과 같은 투명도가 비교적 높고 외관이 비교적 매끄러운 대상의 깊이 정보를 효과적으로 검출할 수 없다. 이때, 검출하여 얻은 깊이 정보가 잘못된 것일 수 있고, 따라서 처리 부재가 깊이 정보 및 시나리오에서 대상의 카테고리를 감지하여 얻은 후, 깊이 정보가 선명하게 비합리적인지 여부, 즉 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰지 여부를 판단하는 것, 및 시나리오에서 유리, 수면 등 기설정 카테고리의 대상이 나타난 것이 검출되는지 여부를 판단하는 것 중 적어도 하나를 실행한다.
처리 부재가 상기 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰 것 및 상기 제1 시나리오 이미지에서 기설정 카테고리의 대상이 포함되는 것이 검출되는 것 중 적어도 하나를 결정하는 것에 응답하여, 처리 부재는 초음파 감지 부재에 초음파 감지 명령어를 송신하고, 상기 초음파 감지 부재가 상기 초음파 감지 명령어에 기반하여 초음파를 송신하며, 감지된 피드백 신호를 처리 부재에 송신한다. 처리 부재는 수신된 상기 초음파 피드백 신호에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 업데이트한다.
초음파 감지 부재가 물체의 깊이 정보에 대한 감지 정밀도가 비교적 높다. 상기 실시 형태는, 환경이 복잡하고 또는 물체 자신의 특성의 영향으로 인해, 가시광 촬영 부재 또는 깊이 촬영 부재를 통해 촬영된 제2 시나리오 이미지는 시나리오에서의 대상의 깊이 정보를 정확하게 결정할 수 없게 될 경우, 초음파 감지 부재를 이용하여 깊이 정보 검출을 수행하므로, 웨어러블 기기의 적용성을 향상하고, 더욱 복잡한 환경에서 시나리오에서의 대상의 깊이 정보를 더욱 정확하게 검출할 수 있다.
상기 웨어러블 기기를 착용하는 목표 대상이 운동 과정에서, 일부 동작을 하여, 촬영된 시나리오 이미지에 따라 대상 검출을 실행할 경우 목표 대상의 운동을 방해할 수 있는 대상을 정확하게 검출할 수 없을 수 있고, 예를 들어 목표 대상이 비교적 큰 각도로 머리를 숙일 경우, 웨어러블 기기가 촬영하는 시나리오는 맞은편에 집중되며, 획득된 시나리오 이미지는 지면의 이미지이고, 목표 대상의 전방 또는 측면에 목표 대상의 운동을 영향할 수 있는 장애물을 정확하게 검출할 수 없다. 이때, 생성된 가이드 정보의 정확성을 향상하고, 무효한 장애물이 검출되고 및 목표 대상의 행진을 영향할 수 있는 장애물을 정확하게 검출할 수 없는 것을 방지하기 위해, 목표 대상의 자세 정보를 결합하여 가이드 정보를 생성해야 하고, 목표 대상이 비교적 큰 각도로 머리를 쳐드는 등 기설정 자세를 할 경우, 자세를 보정하도록 목표 대상을 알린다.
예를 들어, 상기 웨어러블 기기는 또한 자세 측정 부재를 포함할 수 있고, 상기 자세 측정 부재와 상기 처리 부재는 통신 연결된다. 자세 측정 부재는 상기 웨어러블 기기의 자세 정보를 측정하고, 여기서 웨어러블 기기의 자세 정보와 목표 대상의 자세 정보는 동일한 것으로 간주한다. 자세 측정 부재는 측정하여 얻은 자세 정보를 처리 부재에 송신한다.
상기 웨어러블 기기에 기반하는 스마트 가이드 방법은, 수신된 자세 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상의 자세가 제1 기설정 자세인지 여부를 판단 하고, 제1 기설정 자세가 맞을 경우, 자세 보정 제시 정보를 생성한다. 상기 제1 기설정 자세는 비교적 큰 각도로 머리를 쳐드는 것과 같은 목표 대상의 작동을 영향하지 않는 대상의 자세이다. 목표 대상이 제1 기설정 자세에 있는 것이 결정될 경우, 자세 보정 제시 정보를 이용하여 목표 대상이 현재의 자세를 보정하도록 제시하므로, 추가적으로 가이드 정보의 정확성 및 가이드의 안전성을 향상시킨다.
자세 정보가 수신된 후, 자세 정보에 기반하여 가이드 정보를 생성할 수도 있고, 예를 들어, 상기 웨어러블 기기의 자세 정보에 기반하여, 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를 대상이 제2 기설정 자세의 웨어러블 기기기준으로 하는 방위 정보로 스위칭하고; 스위칭된 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보 및 자세 보정 제시 정보 중 적어도 하나를 생성한다.
구체적으로 실시에 사용될 경우, 제2 기설정 자세 및 현재 상기 웨어러블 기기의 자세 정보 사이의 자세 차이 정보를 결정하는 단계; 및 자세 차이 정보를 이용하여 대상 웨어러블 기기를 기준으로 하는 방위 정보를 스위칭하여, 전환된 방위 정보를 얻는다. 예를 들어, 자세 차이 정보가 웨어러블 기기가 머리를 80도 쳐드는 것을 나타내는 것에 응답하여, 결정된 방위 정보는 대상이 웨어러블 기기의 정면에 위치하는 것을 나타내고, 스위칭된 방향 정보는 대상이 웨어러블 기기의 윗쪽에 있는 것이며; 자세 차이 정보가 웨어러블 기기가 머리를 왼쪽으로 60도 돌리는 자세를 나타내는 것에 응답하여, 결정된 방위 정보는 대상이 웨어러블 기기의 정면에 위치하는 것을 나타내고, 스위칭된 방향 정보는 대상이 웨어러블 기기의 전방 좌측에 위치하는 것이다.
또한, 시나리오에서의 대상의 깊이 정보는 구체적으로 대상과 웨어러블 기기의 거리를 나타내기 위한 것이고, 웨어러블 기기의 자세가 변화된 후, 웨어러블 기기의 위치가 선명한 변화가 발생하지 않았으므로, 대상과 웨어러블 기기의 거리도 선명한 변화가 발생하지 않으며, 따라서, 시나리오에서의 대상의 깊이 정보는 스위칭할 필요가 없고, 시나리오에서의 대상의 깊이 정보는 대상과 웨어러블 기기의 거리를 비교적 정확하게 나타낼 수 있다.
상기 제2 기설정 자세는 예를 들어 웨어러블 기기가 목표 대상의 행진 방향을 향하는 자세이다.
상기 스위칭된 방위 정보는 대응되는 대상이 목표 대상의 작동 경로에 위치하는 여부를 판단하기 위한 것일 수 있고, 즉 시나리오에서의 대상이 목표 대상의 작동에서의 장애물인지를 판단하고, 대응되는 대상이 목표 대상의 장애일 경우, 스위칭된 방위 정보에 기반하여 가이드 정보를 생성하여, 목표 대상이 장애물을 피해가도록 가이드한다.
시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를, 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하여, 타깃 대상의 작동에 대해 효과적인 방위 정보를 생성하고, 상기 효과적인 방위 정보를 이용하여 더욱 정확하고 효과적인 가이드 정보를 생성할 수 있다.
응용에 있어서, 자세 측정 부재는 9축 자이로스코프와 같은 자이로스코프일 수 있다.
상기 각 촬영 부재가 수집한 이미지 정보량이 비교적 크고, 가이드의 실시간 성능을 향상시키기 위해, 짧은 시간 내에 각 촬영 부재와 처리 부재의 신호 전송을 완성해야 하고, 본 출원의 실시예는 신호 직렬 부재, 신호 전송 케이블 및 신호 역직렬 부재를 이용하여 신호의 전송을 구현한다.
상기 신호 직렬 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재, 깊이 촬영 부재와 통신 연결되며; 상기 신호 전송 케이블의 양단은 상기 신호 직렬 부재 및 신호 역직렬 부재와 각각 연결되고; 상기 신호 역직렬 부재는 상기 처리 부재와 통신 연결된다.
상기 제1 가시광 촬영 부재는 상기 제1 시나리오 이미지를 상기 신호 직렬 부재에 송신하고; 상기 제2 가시광 촬영 부재 및 상기 깊이 촬영 부재는 상기 제2 시나리오 이미지를 상기 신호 직렬 부재에 송신하며; 상기 신호 직렬 부재는 수신된 제1 시나리오 이미지 및 제2 시나리오 이미지를 직렬 신호로 스위칭하고, 상기 신호 전송 케이블을 통해 상기 신호 역직렬 부재에 송신하며; 상기 신호 역직렬 부재는 수신된 신호를 역직렬 처리하고, 역직렬 처리하여 얻은 신호를 상기 처리 부재에 송신한다.
상기 신호 직렬 부재, 신호 전송 케이블 및 신호 역직렬 부재를 이용하여 신호를 전송하는 것은 예를 들어 V-BY-ONE 트위스트 페어선 기술일 수 있다. V-BY-ONE는 비디오 신호 전송을 윈한 21 배속 직렬화 인터페이스 기술이다. V-BY-ONE 트위스트 페어선 기술의 전송선 개수는 더욱 적고, 두 개의 선만 필요하며, 더욱 간편하고; 전송선 재질에 대한 요구가 낮고, 차폐할 필요 없으며, 비용을 절약하고; 전송 대역폭이 더욱 높으며, 초당 3.75기가비트(Gbps)에 도달할 수 있고; 전송 거리가 더욱 멀며, 고품질 전송 거리가 15미터에 도달하 수 있고; 칩 체적이 더욱 작으며, 간편형의 웨어러블 제품의 디자인에 더욱 유리하고, 예를 들어 5mm x 5mm로 포장할 수 있다.
상기 신호 전송 케이블은 V-BY-ONE 트위스트 페어선 연결을 채택하므로, 굽힘을 방지하고, 스트레칭을 방지하며, 가볍고, 부드럽다.
신호 직렬 부재를 이용하여 촬영 부재가 촬영한 이미지를 트위스트 페어선 고속 차동 신호로 스위칭하여 전송할수 있으므로, 두 개의 선만 이용하여 신호를 전송할 수 있고, 전송 속도가 더욱 빠르며, 비용이 더욱 낮고, 전송 거리가 더욱 멀며, 부재의 체적이 더 작다.
신호 직렬 부재를 이용하여 촬영 부재가 촬영한 이미지를 직렬 신호로 스위칭하고, 예를 들어 트위스트 페어선 고속 차동 신호를 이용하여 전송할수 있으므로, 두 개의 선만 이용하여 신호를 전송할 수 있고, 전송 속도가 더욱 빠르며, 비용이 더욱 낮고, 전송 거리가 더욱 멀며, 부재의 체적이 더 작다.
소리 있는 형태로 목표 대상에게 가이드 정보를 출력하기 위해, 웨어러블 기기 또한 발성 부재를 포함할 수 있고, 상기 발성 부재와 상기 처리 부재는 통신 연결된다.
예를 들어, 상기 가이드 정보에 기반하여 음성 네비게이션 정보를 생성하고, 상기 발성 부재에 송신하여, 상기 발성 부재가 상기 목표 대상에 상기 음성 네비게이션 정보를 플레이하는 단계로 가이드 정보의 플레이를 구현할 수 있다.
음성 네비게이션 정보 및 발성 부재를 이용하여 효과적으로 목표 대상을 가이드하여 장애물을 피할 수 있으므로, 가이드 효율 및 안전성을 향상시킨다.
구체적으로 실시에 사용될 경우, 상기 처리 부재는 칩에서의 시스템(System on Chip, SOC)일 수 있고, 발성 부재는 오디오 골전도 이어폰일 수 있으며, 상기 오디오 골전도 이어폰은 인간 기계 대화에 사용될 수도 있다.
상이한 조명 환경의 사용한느 것, 먼 거리의 대상의 깊이 정보의 검출하는 것, 촬영 부재의 부족을 보완하는 것 및 더욱 풍부한 환경 정보를 획득하는 것을 고려하기 위해, 본 출원의 실시예는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재, 깊이 촬영 부재를 총괄하여, 조명 강도를 판단한 후 촬영 부재를 주동적으로 스위칭할 수 있으므로, 검출의 정밀도를 향상하고, 다변적인 조명 환경을 적응한다.
또한, 본 출원의 실시예는 또한 초음파 감지 부재 및 자세 측정 부재를 융합하고, 초음파를 이용하여 비교적 정확한 깊이 정보를 획득하여, 촬영 부재의 부족을 보완하며, 자세 측정 부재를 이용하여 자세 정보를 획득하여, 검출 정밀도를 향상한다.
상기 실시예에서의 스마트 가이드 방법은 경로 계획, 포지셔닝, 장애물 검출, 음성 제시 등 기능을 수행할 수 있으므로, 정밀도가 더욱 높고, 환경 적응성이 더욱 강하며, 시력 장애가 존재하는 사람이 독립적으로 출행하도록 할 수 있고, 편리하고 안전하다.
상기 웨어러블 기기에 기반하는 스마트 가이드 방법에 대응하여, 본 출원의 실시예는 또한 웨어러블 기기에 기반하는 스마트 가이드 장치를 제공하고, 상기 장치에서의 각 모듈이 구현하는 기능은 전술한 스마트 가이드 방법에 대응되는 단계와 동일하며, 처리 부재에 응용된다.
상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함한다.
도 5에 도시된 바와 같이, 스마트 가이드 장치는,
제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하도록 구성된 제1 이미지 획득 모듈(510);
상기 제1 시나리오 이미지의 휘도를 검출하도록 구성된 휘도 검출 모듈(520);
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하도록 구성된 제2 이미지 획득 모듈(530);
상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하도록 구성된 검출 모듈(540); 및
상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하도록 구성된 가이드 정보 생성 모듈(550)을 포함한다.
일부 실시예에 있어서, 상기 제2 이미지 획득 모듈(530)이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재에 제1 노광 명령어를 송신하고, 상기 제2 가시광 촬영 부재가 상기 제1 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하고,
상기 제2 이미지 획득 모듈(530)이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재에 제2 노광 명령어를 송신하고, 상기 깊이 촬영 부재가 상기 제2 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함한다.
일부 실시예에 있어서, 상기 검출 모듈(540)이 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정할 경우,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제1 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트와 상기 제2 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트를 매칭하여, 픽셀 포인트 쌍을 얻고;
상기 픽셀 포인트 쌍에 대응되는 시차 정보, 상기 제1 가시광 촬영 부재와 상기 제2 가시광 촬영 부재의 중심 거리 및 상기 제1 가시광 촬영 부재의 초점 거리에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 결정하도록 구성된다.
일부 실시예에 있어서, 상기 검출 모듈(540)이 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 것은,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 시나리오에서의 대상이 상기 제2 시나리오 이미지에서의 타깃 픽셀 포인트를 결정하고;
상기 제2 시나리오 이미지에서의 상기 타깃 픽셀 포인트의 깊이 정보에 따라, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 것을 포함한다.
일부 실시예에 있어서, 상기 가이드 정보 생성 모듈(550)이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 것은,
제시 정보를 생성하는 단계 - 상기 제시 정보는 상기 웨어러블 기기를 착용하는 목표 대상에게 상기 깊이 정보를 제시하기 위한 것임 - 를 포함한다.
일부 실시예에 있어서, 상기 검출 모듈(540)은 또한,
상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정하도록 구성되고,
상기 가이드 정보 생성 모듈(550)이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성할 경우,
시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계를 포함한다.
일부 실시예에 있어서, 상기 웨어러블 기기는 또한 초음파 감지 부재를 포함하고,
상기 검출 모듈(540)은 또한,
상기 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰 것 및 상기 제1 시나리오 이미지에서 기설정 카테고리의 대상이 포함되는 것이 검출되는 것 중 적어도 하나에 응답하여, 상기 초음파 감지 부재에 초음파 감지 명령어를 송신하고, 상기 초음파 감지 부재가 상기 초음파 감지 명령어에 기반하여 감지한 초음파 피드백 신호를 수신하고;
수신된 상기 초음파 피드백 신호에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 업데이트하도록 구성된다.
일부 실시예에 있어서, 상기 웨어러블 기기는 또한 자세 측정 부재를 포함하고,
상기 검출 모듈(540)은 또한,
상기 자세 측정 부재가 수집한 웨어러블 기기의 자세 정보를 획득하고;
상기 자세 정보에 따라 상기 웨어러블 기기를 착용하는 목표 대상의 자세가 제1 기설정 자세인 것을 결정하는 것에 응답하여, 자세 보정 제시 정보를 생성하도록 구성된다.
일부 실시예에 있어서, 상기 검출 모듈(540)은 또한,
상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를 결정하고;
상기 웨어러블 기기의 자세 정보에 기반하여, 상기 방위 정보를 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하도록 구성되며,
상기 가이드 정보 생성 모듈(550)이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성할 경우,
스위칭된 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보 및 자세 보정 제시 정보 중 적어도 하나를 생성하는 단계를 포함한다.
일부 실시예에 있어서, 상기 웨어러블 기기는 또한 발성 부재를 포함하고,
상기 가이드 정보 생성 모듈(550)은 또한,
상기 가이드 정보에 기반하여 음성 네비게이션 정보를 생성하고, 상기 발성 부재에 송신하며, 상기 발성 부재가 상기 목표 대상에 상기 음성 네비게이션 정보를 플레이하는 단계를 포함한다.
일부 실시예에 있어서, 상기 웨어러블 기기는 또한 주파수 분할 회로를 포함하고,
상기 제2 이미지 획득 모듈(530)이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제3 노광 명령어를 제2 가시광 촬영 부재에 송신하고, 상기 제2 가시광 촬영 부재가 상기 제3 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것, 및
상기 제2 이미지 획득 모듈(530)이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우,
상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제4 노광 명령어를 깊이 촬영 부재에 송신하고, 상기 깊이 촬영 부재가 상기 제4 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것 중 적어도 하나이다.
상기 웨어러블 기기에 기반하는 스마트 가이드 방법에 대응하여, 본 출원의 실시예는 또한 웨어러블 기기를 제공하고, 상기 웨어러블 기기에서의 각 부재가 구현한 기능은 상기 실시예에 대응되는 부재와 동일하다.
예를 들어, 도 2에 도시된 바와 같이, 번호 21은 헤드 기기 측 블록도를 나타내고, 번호 22는 호스트 측 블록도를 나타내며, 헤드 기기 측 블록도 및 호스트 측 블록도는 신호 전송 케이블(208)을 통해 연결된다.
웨어러블 기기는, 처리 부재(201), 제1 가시광 촬영 부재(202), 제2 가시광 촬영 부재(203) 및 깊이 촬영 부재(204)를 포함할 수 있다.
상기 제1 가시광 촬영 부재(202)는 제1 시나리오 이미지를 수집하도록 구성디고; 상기 제2 가시광 촬영 부재(203) 및 상기 깊이 촬영 부재(204)는 제2 시나리오 이미지를 수집하도록 구성되며; 상기 처리 부재(201)는 상기 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하도록 구성된다.
일부 실시예에 있어서, 상기 웨어러블 기기는 또한 초음파 감지 부재(205), 자세 측정 부재(206), 신호 직렬 부재(207), 신호 전송 케이블(208), 신호 역직렬 부재(209), 발성 부재(210)를 포함할 수 있다.
상기 초음파 감지 부재(205), 자세 측정 부재(206), 신호 직렬 부재(207), 신호 전송 케이블(208), 신호 역직렬 부재(209), 발성 부재(210)가 구현한 기능과 상기 실시예의 스마트 가이드 방법에서의에 대응되는 부재가 동일하다.
또한, 웨어러블 기기는 또한 마이크로 제어 부재 MCU(211), WIFI 부재(212), GPS 부재(213)를 포함할 수 있다. 마이크로 제어 부재 MCU(211)는 웨어러블 기기의 충전 관리 및 전체 기계의 상태의 검출을 수행하도록 구성되고, GPS 부재(213)는 웨어러블 기기의 포지셔닝을 수행하도록 구성되며, WIFI 부재(212)는 웨어러블 기기에서의 제1 시나리오 이미지, 제2 시나리오 이미지, 깊이 정보 등을 원격 서버에 송신하도록 구성된다.
일부 실시예에 있어서, 도 2에 도시된 바와 같이, 헤드 기기 측 블록도 21는 두 개의 가시광 촬영 부재(202 및 203), 깊이 촬영 부재(204)를 포함하고, 여기서 하나의 RGB촬영 부재를 메인 촬영 부재로 사용하고, 동기 트리거링 신호를 다른 RGB 촬영 부재에 출력하는 동시에, 하나의 주파수 분할 칩을 통해 하나의 동기 트리거링 신호를 깊이 촬영 부재에 출력하며, 이와 같이, 두 개의 RGB 촬영 부재(202 및 203), 깊이 촬영 부재(204)는 상이한 프레임 레이트에서도 세 방향의 촬영 부재의 동시 노광을 구현할 수 있다. 세 방향의 촬영 부재의 이미지 신호는 호 직렬 부재(207)(V-BY-ONE직렬 칩)를 통해, 트위스트 페어선 고속 차동 신호로 스위칭되고, 신호 전송 케이블(208)을 통해 호스트 측 블록도 22와 연결하며; 자세 측정 부재(206)(자이로스코프)는 상시 사용자의 자세 정보를 모니터링하기 위한 것이고, 초음파 감지 부재(205)는 유리벽, 수면 등의 거리 정보를 검출하기 위한 것이다.
호스트 측 블록도 22는 처리 부재(201)(SOC 부재), 글로벌 포지셔닝 시스템 (Global Positioning System, GPS)부재(213), WIFI 부재(212), 집적 V-BY-ONE 역직렬 칩(신호 역직렬 부재)(209), MCU(마이크로 제어 부재)(211) 및 발성 부재(210)를 포함하고, 여기서, 처리 부재(201)는 인공 스마트 처리 모듈을 채택하고, 컴퓨팅 파워가 강력하다. 집적 V-BY-ONE 역직렬 칩(209)은 이동 산업 프로세서 인터페이스 카메라 인터페이스 기준(Mobile Industry Processor Interface-Camera Serial Interface, MIPI-CSI)데이터를 처리 부재(201)의 이동 산업 프로세서 인터페이스 물리적 계층(Mobile Industry Processor Interface Physical, MIPI PHY)입력 인터페이스에 송신하고, 알고리즘을 사용하여 추가적으로 처리한 다 후, 발성 부재(210) 오디오 골전도 이어폰을 통해 방송 알림을 수행하고, 발성 부재(210)는 또한 인간 컴퓨터 상호 작용 음성 대화를 수행할 수 있으며; MCU(211)는 전체 기계의 작업 상태를 검출하고 충전 관리 등을 수행하기 위한 것이며; GPS 부재(213)는 실시간 동적(Real time kinematic, RTK)기술을 채택하여 정확한 포지셔닝을 수행하고; WIFI부재(212)는 데이터를 동기 네트워크에 업로드하기 위한 것이다.
신호 전송 케이블(208)은 V-BY-ONE 트위스트 페어선 연결을 채택한다.
도 3에 도시된 바와 같이, 본 출원의 실시예는 가이드 시스템(300)을 제공하고, 웨어러블 기기(301) 및 호스트(302)를 포함한다.
상기 웨어러블 기기(301)는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고; 상기 호스트(302)는 처리 부재를 포함하고, 상기 처리 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재와 신호 전송 케이블을 통해 연결되며, 상기 처리 부재는 상기 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하도록 구성된다.
상기 호스트(302)는 상기 처리 부재와 연결되는 포지셔닝 모듈, 네트워크 모듈, 작업 상태를 검출하는 것 및 충전 관리 중 정어도 하나를 위한 마이크로 제어 유닛, 오디오 모듈 중 적어도 하나가 설치될 수 있다.
도 1에서의 스마트 가이드 방법에 대응하여, 본 출원의 실시예는 또한 전자 기기(400)를 제공하고, 도 4에 도시된 바와 같이, 본 출원의 실시예에서 제공한 전자 기기(400)의 구조 예시도이고,
여기서, 메모리(42)는 실행 명령어를 저장하도록 구성되고, 내부 메모리(421) 및 외부 메모리(422)를 포함하며; 여기서 내부 메모리(421)는 내부 저장소로도 지칭되며, 프로세서(41)에서의 연산 데이터 및 하드 디스크 등 외부 메모리(422)와 교환되는 데이터를 임시 저장하도록 구성되며, 프로세서(41)는 내부 메모리(421)와 외부 메모리(422)를 통해 데이터 교환을 수행하고, 전자기기(400)이 동작하는 상황에 있어서, 프로세서(41)와 저장 기기(42)사이는 버스(43)를 통해 통신하여, 프로세서(41)가, 제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하는 것; 상기 제1 시나리오 이미지의 휘도를 검출하는 것; 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하는 것; 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 것; 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 명령을 실행하도록 한다.
본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동되는 경우 상기 방법 실시예에 따른 스마트 가이드 방법의 단계를 실행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.
본 출원의 실시예에서 제공한 스마트 가이드 방법의 컴퓨터 프로그램 제품은, 프로그램 코드를 포함하는 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 스마트 가이드 방법의 단계를 실행하는데 사용될 수 있으며, 상기 방법 실시예를 참조할 수 있다.
본 출원의 실시예는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 전술한 실시예의 어느 한 가지 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 예를 들어 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현된다.
하나의 선택 가능한 실시예에 있어서,상기 컴퓨터 프로그램 제품은 예를 들어 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.
본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 구체적으로 동작 과정을 포함하고, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있다. 본 출원에서 제공된 여러 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 형태으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 출원의 구체적인 실시형태일 뿐이고, 본 출원의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 출원의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 출원에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 임의의 본 기술분야의 공지된 기술자가 본 출원에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 출원의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 출원의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 출원의 보호 범위는 청구 범위의 보호 범위를 기준으로 해야 한다.
산업상 이용 가능성
본 발명의 실시예에 있어서, 조명 강도가 비교적 클 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 클 경우, 제2 가시광 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정하고; 조명 강도가 비교적 작을 경우, 즉 제1 시나리오 이미지의 휘도가 비교적 작을 경우, 깊이 촬영 부재로 촬영된 제2 시나리오 이미지를 이용하여 시나리오에서의 대상의 깊이 정보를 결정한다. 이로써, 상이한 환경 조명 강도에 따라, 상이한 부재를 선택하여 이미지를 수집함으로써, 목표 대상에게 가이드 서비스를 제공하는 것을 구현하였으므로, 조명 강도의 변화를 효율적으로 적응하고, 비교적 풍부한 환경 정보를 획득할 수 있는 동시에, 무늬가 부족한 장애물을 검출할 수 있으므로, 장애물 검출의 정확성 및 가이드의 안전성을 향상시킨다.

Claims (30)

  1. 웨어러블 기기에 기반하는 스마트 가이드 방법으로서,
    상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하는 단계;
    상기 제1 시나리오 이미지의 휘도를 검출하는 단계;
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하는 단계;
    상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계; 및
    상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  2. 제1항에 있어서,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재에 제1 노광 명령어를 송신하고, 상기 제2 가시광 촬영 부재가 상기 제1 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하고,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재에 제2 노광 명령어를 송신하고, 상기 깊이 촬영 부재가 상기 제2 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제1 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트와 상기 제2 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트를 매칭하여, 픽셀 포인트 쌍을 얻는 단계; 및
    상기 픽셀 포인트 쌍에 대응되는 시차 정보, 상기 제1 가시광 촬영 부재와 상기 제2 가시광 촬영 부재의 중심 거리 및 상기 제1 가시광 촬영 부재의 초점 거리에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 시나리오에서의 대상이 상기 제2 시나리오 이미지에서의 타깃 픽셀 포인트를 결정하는 단계; 및
    상기 제2 시나리오 이미지에서의 상기 타깃 픽셀 포인트의 깊이 정보에 따라, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
    제시 정보를 생성하는 단계 - 상기 제시 정보는 상기 웨어러블 기기를 착용하는 목표 대상에게 상기 깊이 정보를 제시하기 위한 것임 - 를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정하는 단계를 포함하고,
    상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
    시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 초음파 감지 부재를 포함하고,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    상기 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰 것 및 상기 제1 시나리오 이미지에서 기설정 카테고리의 대상이 포함되는 것이 검출되는 것 중 적어도 하나에 응답하여, 상기 초음파 감지 부재에 초음파 감지 명령어를 송신하고, 상기 초음파 감지 부재가 상기 초음파 감지 명령어에 기반하여 감지한 초음파 피드백 신호를 수신하는 단계; 및
    수신된 상기 초음파 피드백 신호에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 자세 측정 부재를 포함하고,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    상기 자세 측정 부재가 수집한 웨어러블 기기의 자세 정보를 획득하는 단계; 및
    상기 자세 정보에 따라 상기 웨어러블 기기를 착용하는 목표 대상의 자세가 제1 기설정 자세인 것을 결정하는 것에 응답하여, 자세 보정 제시 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  9. 제8항에 있어서,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를 결정하는 단계; 및
    상기 웨어러블 기기의 자세 정보에 기반하여, 상기 방위 정보를 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하는 단계를 더 포함하고,
    상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 단계는,
    스위칭된 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보 및 자세 보정 제시 정보 중 적어도 하나를 생성하는 단계를 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 발성 부재를 포함하고,
    상기 웨어러블 기기에 기반하는 스마트 가이드 방법은,
    상기 가이드 정보에 기반하여 음성 네비게이션 정보를 생성하고, 상기 발성 부재에 송신하며, 상기 발성 부재가 상기 목표 대상에 상기 음성 네비게이션 정보를 플레이하는 단계를 더 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 주파수 분할 회로를 포함하고,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제3 노광 명령어를 제2 가시광 촬영 부재에 송신하고, 상기 제2 가시광 촬영 부재가 상기 제3 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것, 및
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 단계는,
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며, 주파수 분할 처리를 통해 얻은 제4 노광 명령어를 깊이 촬영 부재에 송신하고, 상기 깊이 촬영 부재가 상기 제4 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하는 단계를 포함하는 것; 중 적어도 하나를 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 방법.
  12. 웨어러블 기기에 기반하는 스마트 가이드 장치로서,
    상기 웨어러블 기기는 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고, 상기 웨어러블 기기에 기반하는 스마트 가이드 장치는,
    제1 가시광 촬영 부재가 수집한 제1 시나리오 이미지를 획득하도록 구성된 제1 이미지 획득 모듈;
    상기 제1 시나리오 이미지의 휘도를 검출하도록 구성된 휘도 검출 모듈;
    상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것, 및, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재가 수집한 제2 시나리오 이미지를 획득하는 것 중 적어도 하나를 수행하도록 구성된 제2 이미지 획득 모듈;
    상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하도록 구성된 검출 모듈; 및
    상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하도록 구성된 가이드 정보 생성 모듈을 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  13. 제12항에 있어서,
    상기 제2 이미지 획득 모듈이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재에 제1 노광 명령어를 송신하고, 상기 제2 가시광 촬영 부재가 상기 제1 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하고;
    상기 제2 이미지 획득 모듈이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재이 수집한 제2 시나리오 이미지를 획득할 경우, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재에 제2 노광 명령어를 송신하고, 상기 깊이 촬영 부재가 상기 제2 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 검출 모듈이 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정할 경우, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제1 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트와 상기 제2 시나리오 이미지에서 시나리오에서의 대상을 나타내는 픽셀 포인트를 매칭하여, 픽셀 포인트 쌍을 얻고; 상기 픽셀 포인트 쌍에 대응되는 시차 정보, 상기 제1 가시광 촬영 부재와 상기 제2 가시광 촬영 부재의 중심 거리 및 상기 제1 가시광 촬영 부재의 초점 거리에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 결정하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  15. 제12항 또는 제13항에 있어서,
    상기 검출 모듈이 상기 제2 시나리오 이미지에 기반하여 시나리오에서의 대상의 깊이 정보를 결정하는 것은, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 시나리오에서의 대상이 상기 제2 시나리오 이미지에서의 타깃 픽셀 포인트를 결정하는 것; 및 상기 제2 시나리오 이미지에서의 상기 타깃 픽셀 포인트의 깊이 정보에 따라, 상기 시나리오에서의 대상의 깊이 정보를 결정하는 것을 포함하는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 가이드 정보 생성 모듈이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하는 것은, 제시 정보를 생성하는 것을 포함하고, 상기 제시 정보는 상기 웨어러블 기기를 착용하는 목표 대상에게 상기 깊이 정보를 제시하기 위한 것인 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  17. 제12항 내지 제 16항 중 어느 한 항에 있어서,
    상기 검출 모듈은 또한, 상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보를 결정하도록 구성되고,
    상기 가이드 정보 생성 모듈이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성할 경우, 시나리오에서의 대상이 웨어러블 기기를 기준으로 하는 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 초음파 감지 부재를 포함하고,
    상기 검출 모듈은 또한, 상기 깊이 정보에 대응되는 깊이가 기설정 깊이 임계값보다 큰 것 및 상기 제1 시나리오 이미지에서 기설정 카테고리의 대상이 포함되는 것이 검출되는 것 중 적어도 하나에 응답하여, 상기 초음파 감지 부재에 초음파 감지 명령어를 송신하고, 상기 초음파 감지 부재가 상기 초음파 감지 명령어에 기반하여 감지한 초음파 피드백 신호를 수신하며; 수신된 상기 초음파 피드백 신호에 기반하여, 상기 시나리오에서의 대상의 깊이 정보를 업데이트하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  19. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 자세 측정 부재를 포함하고,
    상기 검출 모듈은 또한, 상기 자세 측정 부재가 수집한 웨어러블 기기의 자세 정보를 획득하고; 상기 자세 정보에 따라 상기 웨어러블 기기를 착용하는 목표 대상의 자세가 제1 기설정 자세인 것을 결정하는 것에 응답하여, 자세 보정 제시 정보를 생성하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  20. 제19항에 있어서,
    상기 검출 모듈은 또한, 상기 제1 시나리오 이미지에 기반하여 시나리오에서의 대상이 상기 웨어러블 기기를 기준으로 하는 방위 정보를 결정하고; 상기 웨어러블 기기의 자세 정보에 기반하여, 상기 방위 정보를 시나리오에서의 대상이 제2 기설정 자세인 웨어러블 기기를 기준으로 하는 방위 정보로 스위칭하도록 구성되며,
    상기 가이드 정보 생성 모듈이 상기 깊이 정보에 기반하여 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보를 생성할 경우, 스위칭된 방위 정보 및 시나리오에서의 대상의 깊이 정보에 기반하여, 상기 웨어러블 기기를 착용하는 목표 대상에 대한 가이드 정보 및 자세 보정 제시 정보 중 적어도 하나를 생성하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  21. 제12항 내지 제20항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 발성 부재를 포함하고,
    상기 가이드 정보 생성 모듈은 또한, 상기 가이드 정보에 기반하여 음성 네비게이션 정보를 생성하고, 상기 발성 부재에 송신하여, 상기 발성 부재가 상기 목표 대상에 상기 음성 네비게이션 정보를 플레이 하도록 구성되는 것을 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  22. 제12항 내지 제21항 중 어느 한 항에 있어서,
    상기 웨어러블 기기는 또한 주파수 분할 회로를 포함하고,
    상기 제2 이미지 획득 모듈이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 제2 가시광 촬영 부재가 수집한 제2 시나리오 이미지를 획득할 경우, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제3 노광 명령어를 제2 가시광 촬영 부재에 송신하고, 및, 상기 제2 가시광 촬영 부재가 상기 제3 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하도록 구성되는 것; 및
    상기 제2 이미지 획득 모듈이 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 깊이 촬영 부재이 수집한 제2 시나리오 이미지를 획득할 경우, 상기 제1 시나리오 이미지의 휘도가 기설정된 휘도를 만족하지 않는 것에 응답하여, 상기 주파수 분할 회로에 노광 명령어를 송신하고, 상기 주파수 분할 회로가 수신된 노광 명령어에 대해 주파수 분할 처리를 수행하며 주파수 분할 처리를 통해 얻은 제4 노광 명령어를 깊이 촬영 부재에 송신하고, 및, 상기 깊이 촬영 부재가 상기 제4 노광 명령어에 기반하여 노광 제어를 수행하여 수집한 제2 시나리오 이미지를 획득하도록 구성되는 것 중 적어도 하나를 특징으로 하는 웨어러블 기기에 기반하는 스마트 가이드 장치.
  23. 웨어러블 기기로서,
    처리 부재, 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재를 포함하고,
    상기 제1 가시광 촬영 부재는, 제1 시나리오 이미지를 수집하도록 구성되고;
    상기 제2 가시광 촬영 부재 및 상기 깊이 촬영 부재는 제2 시나리오 이미지를 수집하도록 구성되며;
    상기 처리 부재는, 제1항 내지 제11항 중 어느 한 항의 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하도록 구성되는 것을 특징으로 하는 웨어러블 기기.
  24. 제23항에 있어서,
    또한 신호 직렬 부재, 신호 전송 케이블 및 신호 역직렬 부재를 포함하고,
    상기 신호 직렬 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재, 깊이 촬영 부재와 통신 연결되며; 상기 신호 전송 케이블의 양단은 상기 신호 직렬 부재 및 신호 역직렬 부재와 각각 연결되고; 상기 신호 역직렬 부재는 상기 처리 부재와 통신 연결되며,
    상기 제1 가시광 촬영 부재는 또한, 상기 제1 시나리오 이미지를 상기 신호 직렬 부재에 송신하도록 구성되고;
    상기 제2 가시광 촬영 부재 및 상기 깊이 촬영 부재는 또한, 상기 제2 시나리오 이미지를 상기 신호 직렬 부재에 송신하도록 구성되며;
    상기 신호 직렬 부재는, 수신된 제1 시나리오 이미지 및 제2 시나리오 이미지를 직렬 신호로 스위칭하고, 상기 신호 전송 케이블을 통해 상기 신호 역직렬 부재에 송신하도록 구성되며;
    상기 신호 역직렬 부재는, 수신된 신호를 역직렬 처리하고, 역직렬 처리를 통해 얻은 신호를 상기 처리 부재에 송신하도록 구성되는 것을 특징으로 하는 웨어러블 기기.
  25. 제23항 또는 제24항 중 어느 한 항에 있어서,
    상기 깊이 촬영 부재가 TOF 카메라를 포함하는 것을 특징으로 하는 웨어러블 기기.
  26. 가이드 시스템으로서,
    웨어러블 기기 및 호스트를 포함하고,
    상기 웨어러블 기기 포함 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재;
    상기 호스트는 처리 부재를 포함하고, 상기 처리 부재는 상기 제1 가시광 촬영 부재, 제2 가시광 촬영 부재 및 깊이 촬영 부재와 신호 전송 케이블을 통해 연결되며, 상기 처리 부재는 제1항 내지 제11항 중 어느 한 항의 웨어러블 기기에 기반하는 스마트 가이드 방법을 실행하기 위한 것임을 특징으로 하는 가이드 시스템.
  27. 제26항에 있어서,
    상기 호스트는 상기 처리 부재와 연결되는 포지셔닝 모듈, 네트워크 모듈, 작업 상태를 검출하는 것 및 충전 관리 중 정어도 하나를 위한 마이크로 제어 유닛, 오디오 모듈 중 적어도 하나가 설치되어 있는 것을 특징으로 하는 가이드 시스템.
  28. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하고, 상기 메모리는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동되는 경우, 상기 프로세서와 상기 메모리 사이는 버스를 토해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행 될 경우 제1항 내지 제11항 중 어느 한 항의 스마트 가이드 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기.
  29. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제11항 중 어느 한 항의 스마트 가이드 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  30. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은 하나 또는 복수 개의 명령어를 포함하고, 상기 하나 또는 복수 개의 명령어는 프로세서에 의해 로딩되는 것에 적합하고 제1항 내지 제11항 중 어느 한 항의 스마트 가이드 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020217036427A 2020-09-30 2021-04-29 웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체 KR20220044897A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011060870.X 2020-09-30
CN202011060870.XA CN112188059B (zh) 2020-09-30 2020-09-30 可穿戴设备、智能引导方法及装置、引导系统
PCT/CN2021/091150 WO2022068193A1 (zh) 2020-09-30 2021-04-29 可穿戴设备、智能引导方法及装置、引导系统、存储介质

Publications (1)

Publication Number Publication Date
KR20220044897A true KR20220044897A (ko) 2022-04-12

Family

ID=73948406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217036427A KR20220044897A (ko) 2020-09-30 2021-04-29 웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체

Country Status (4)

Country Link
JP (1) JP2023502552A (ko)
KR (1) KR20220044897A (ko)
CN (1) CN112188059B (ko)
WO (1) WO2022068193A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188059B (zh) * 2020-09-30 2022-07-15 深圳市商汤科技有限公司 可穿戴设备、智能引导方法及装置、引导系统
CN112950699A (zh) * 2021-03-30 2021-06-11 深圳市商汤科技有限公司 深度测量方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250928A (ja) * 2010-06-01 2011-12-15 Chuo Univ 視覚障害者用空間認識装置、方法およびプログラム
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
JP2014067320A (ja) * 2012-09-27 2014-04-17 Hitachi Automotive Systems Ltd ステレオカメラ装置
WO2016047890A1 (ko) * 2014-09-26 2016-03-31 숭실대학교산학협력단 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체
CN106038183A (zh) * 2016-06-29 2016-10-26 冯伟林 一种盲人穿戴设备及导航系统
CN106210536A (zh) * 2016-08-04 2016-12-07 深圳众思科技有限公司 一种屏幕亮度调节方法、装置及终端
CN106937910B (zh) * 2017-03-20 2019-07-02 杭州视氪科技有限公司 一种障碍物和坡道检测系统及方法
CN107888896B (zh) * 2017-10-20 2020-01-03 宁波天坦智慧电子科技股份有限公司 一种用于导盲眼镜的障碍判断与提醒方法及一种导盲眼镜
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US20190320102A1 (en) * 2018-04-13 2019-10-17 Qualcomm Incorporated Power reduction for dual camera synchronization
WO2020037575A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 图像深度估计方法、装置、可读存储介质及电子设备
CN111698494B (zh) * 2018-08-22 2022-10-28 Oppo广东移动通信有限公司 电子装置
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及系统
CN109712192B (zh) * 2018-11-30 2021-03-23 Oppo广东移动通信有限公司 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109831660B (zh) * 2019-02-18 2021-04-23 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取模组及电子设备
CN110664593A (zh) * 2019-08-21 2020-01-10 重庆邮电大学 基于HoloLens的盲人导航系统及方法
CN111553862B (zh) * 2020-04-29 2023-10-13 大连海事大学 一种海天背景图像去雾和双目立体视觉定位方法
CN112188059B (zh) * 2020-09-30 2022-07-15 深圳市商汤科技有限公司 可穿戴设备、智能引导方法及装置、引导系统

Also Published As

Publication number Publication date
CN112188059B (zh) 2022-07-15
CN112188059A (zh) 2021-01-05
WO2022068193A1 (zh) 2022-04-07
JP2023502552A (ja) 2023-01-25

Similar Documents

Publication Publication Date Title
WO2020237921A1 (zh) 一种人眼追踪方法、装置、系统、设备和存储介质
CN105607253B (zh) 头部佩戴型显示装置以及控制方法、显示系统
US11372249B2 (en) Information processing device and information processing method
US20210382547A1 (en) Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users
KR20220044897A (ko) 웨어러블 기기, 스마트 가이드 방법 및 장치, 가이드 시스템, 저장 매체
JP2016139375A (ja) 情報処理装置および情報処理方法
CN112287795B (zh) 异常驾驶姿态检测方法、装置、设备、车辆和介质
US11423602B2 (en) Fast 3D reconstruction with depth information
CN107065920A (zh) 避障控制方法、装置及无人机
US11943602B1 (en) Systems and methods for spatial update latency compensation for head-tracked audio
CN111061363A (zh) 一种虚拟现实系统
JP2017120556A (ja) 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム
CN110780742A (zh) 眼球追踪处理方法及相关装置
CN111243105A (zh) 增强现实处理方法及装置、存储介质和电子设备
KR20200038111A (ko) 전자 장치 및 제스처 인식 방법
CN110152293B (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112188088A (zh) 水下自拍系统
WO2020264149A1 (en) Fast hand meshing for dynamic occlusion
US11216066B2 (en) Display device, learning device, and control method of display device
US11531401B2 (en) Data replacement apparatus, computing device, and program for user and avatar coordination
JP6494305B2 (ja) 情報処理装置、表示装置、および情報処理方法
US20220130218A1 (en) Systems and methods for characterization of mechanical impedance of biological tissues
CN111930236B (zh) 设备控制方法、装置、存储介质及电子设备
CN116724548A (zh) 用于显示内容的电子装置及其操作方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal