KR102501293B1 - 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체 - Google Patents

스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체 Download PDF

Info

Publication number
KR102501293B1
KR102501293B1 KR1020210041997A KR20210041997A KR102501293B1 KR 102501293 B1 KR102501293 B1 KR 102501293B1 KR 1020210041997 A KR1020210041997 A KR 1020210041997A KR 20210041997 A KR20210041997 A KR 20210041997A KR 102501293 B1 KR102501293 B1 KR 102501293B1
Authority
KR
South Korea
Prior art keywords
interface
application
rearview mirror
external device
user
Prior art date
Application number
KR1020210041997A
Other languages
English (en)
Other versions
KR20210042862A (ko
Inventor
첸지안제
오우양넝준
청신치앙
Original Assignee
아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. filed Critical 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Publication of KR20210042862A publication Critical patent/KR20210042862A/ko
Application granted granted Critical
Publication of KR102501293B1 publication Critical patent/KR102501293B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/29—
    • B60K35/60—
    • B60K35/81—
    • B60K35/85—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • B60K2360/184—
    • B60K2360/583—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/152—Displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/18—Information management
    • B60K2370/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/70—Arrangements of instruments in the vehicle
    • B60K2370/77—Arrangements of instruments in the vehicle characterised by locations other than the dashboard
    • B60K2370/779—Arrangements of instruments in the vehicle characterised by locations other than the dashboard on or in rear view mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays

Abstract

본 출원은 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체를 개시하며, 차량 네트워크 기술분야에 관한 것이다. 구체적인 기술방안에 따르면, 스마트 백미러의 인터페이스 표시 정보를 획득하고; 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 인터페이스 표시 정보를 발송하고; 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 사용자 조작 정보는 적어도 하나의 외부 기기에 대한 사용자의 조작을 나타내기 위한 것이다. 본 출원에 개시된 기술방안은 사용자가 화면이 투사되는 외부 기기 상에서 스마트 백미러 상에 스크린 프로젝션되는 인터페이스에 대해 제어할 수 있으며, 조작이 간편하고, 사용자의 주행 안전을 확보할 수 있다.

Description

스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체{CONTROL METHOD AND APPARATUS FOR SMART REARVIEW MIRROR, ELECTRONIC DEVICE AND STORAGE MEDIUM}
본 출원은 데이터 처리분야에 관한 것으로서, 특히는 차량 네트워크 기술 중 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체에 관한 것이다.
차량의 지능화 발전에 따라, 차량용 전자기기도 점점 많아지고 있다. 백미러도 초기의 후방 표시 기능에서 후진 보조 기능을 가진 스마트 백미러로 발전되었으며, 기존의 스마트 백미러 상에는 애플리케이션이 더 설치되어, 음악 재생, 맵 네비게이션 등의 다양한 기능을 구현할 수 있다. 하지만 운전 과정에서, 사용자가 스마트 백미러를 조작 및 시청할 때, 주의력을 머리 상부로 돌려야 하므로, 조작이 불편하고, 사용자의 주행 안전에 위험을 초래한다.
상술한 문제점을 해결하기 위하여, 종래기술에서는 스마트 백미러의 인터페이스를 차량 머신에 스크린 프로젝션하는 기술방안이 제기되었으며, 사용자가 차량 머신을 시청함으로써 스마트 백미러에 표시되는 내용을 획득할 수 있도록 하여, 사용자가 스마트 백미러를 시청함에 따라 주행 안전에 영향을 미치는 문제점을 방지한다. 여기서, 스마트 백미러는 끊임없이 캡쳐하며, 다시 말하면 스크린 프로젝션할 내용을 화면 녹화하여 비디오로 녹화하고, 비디오를 비디오 스트림으로 코딩하여 차량 머신으로 전송하여, 차량 머신이 비디오 스트림을 디코딩하여 스마트 백미러의 인터페이스를 표시하도록 하고, 이에 따라 스마트 백미러의 인터페이스를 차량 머신 상에 스크린 프로젝션하는 방안을 구현한다.
하지만 종래기술은 스마트 백미러의 인터페이스를 차량 머신에 스크린 프로젝션한 후, 만약 사용자가 스크린 프로젝션 후의 인터페이스에 대해 조작이 필요할 때, 스마트 백미러 상에서 조작할 수 밖에 없으므로, 여전히 조작이 불편하고, 사용자의 주행 안전에 위험을 초래하는 문제점이 존재한다.
본 출원은 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체를 제공하여, 사용자가 외부 기기 상에서 스마트 백미러 상에 스크린 프로젝션되는 애플리케이션을 제어할 수 있도록 한다.
본 출원의 제1 측면에 따르면, 스마트 백미러의 인터페이스 표시 정보를 획득하는 단계; 상기 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 상기 인터페이스 표시 정보를 발송하는 단계; 상기 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 상기 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 상기 사용자 조작 정보는 상기 적어도 하나의 외부 기기에 대한 상기 사용자의 조작을 나타내기 위한 것인 단계;를 포함하는 스마트 백미러에 사용되는 제어 방법을 제공한다.
본 출원의 제2 측면에 따르면, 스크린 프로젝션 제어 기기로부터 제공되는 인터페이스 표시 정보를 수신하는 단계; 상기 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시하는 단계; 만약 상기 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하는 단계; 상기 스크린 프로젝션 제어 기기로 상기 사용자 조작 정보를 발송하는 단계;를 포함하는 스마트 백미러에 사용되는 제어 방법을 제공한다.
본 출원의 제3 측면에 따르면, 스마트 백미러의 인터페이스 표시 정보를 획득하기 위한 처리모듈; 상기 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 상기 인터페이스 표시 정보를 발송하기 위한 송수신 모듈;을 포함하는 스마트 백미러에 사용되는 제어 장치를 제공한다.
상기 처리모듈은 또한 상기 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 상기 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 상기 사용자 조작 정보는 상기 적어도 하나의 외부 기기에 대한 상기 사용자의 조작을 나타내기 위한 것이다.
본 출원의 제4 측면에 따르면, 스크린 프로젝션 제어 기기로부터 제공되는 인터페이스 표시 정보를 수신하기 위한 송수신 모듈; 상기 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시하기 위한 표시모듈; 상기 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하기 위한 처리모듈;을 포함하는 스마트 백미러에 사용되는 제어 장치를 제공한다.
상기 송수신 모듈은 상기 스크린 프로젝션 제어 기기로 상기 사용자 조작 정보를 발송한다.
본 출원의 제5 측면에 따르면, 적어도 하나의 프로세서, 상기적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하는 전자기기기를 제공하되, 상기 메모리에 컴퓨터 실행 명령이 저장되고, 상기 컴퓨터 실행 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 전자기기가 제1측면과 제2측면에 따른 스마트 백미러에 사용되는 제어 방법을 수행하도록 하며, 상기 출력장치는 상기 전자기기의 인터페이스를 표시하기 위한 것이다.
본 출원의 제6 측면에 따르면, 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 판독 가능 저장매체 상에 컴퓨터 실행 명령이 저장되어 있고, 상기 컴퓨터 실행 명령은 프로세서에 의해 실행될 때, 상술한 제1 측면과 제2 측면에 따른 스마트 백미러에 사용되는 제어 방법을 구현한다.
본 출원의 제7 측면에 따르면, 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 전자기기의 적어도 하나의 프로세서는 상기 판독 가능 저장매체로부터 상기 컴퓨터 프로그램을 판독할 수 있으며, 상기 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 실행하여 상술한 제1 측면과 제2 측면에 따른 스마트 백미러에 사용되는 제어 방법을 구현하도록 한다.
상술한 각 측면의 유리한 효과는 구체적으로 후술하는 구체적인 실시형태에 기재된 유리한 효과를 참조할 수 있다.
본 출원에 따른 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체에 있어서, 구체적인 기술방안에 따르면, 스마트 백미러의 인터페이스 표시 정보를 획득하고; 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 인터페이스 표시 정보를 발송하고; 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 사용자 조작 정보는 적어도 하나의 외부 기기에 대한 사용자의 조작을 나타내기 위한 것이다. 본 출원에 개시된 기술방안은 사용자가 화면이 투사되는 외부 기기 상에서 스마트 백미러 상에 스크린 프로젝션되는 인터페이스에 대해 제어할 수 있으며, 조작이 간편하고, 사용자의 주행 안전을 확보할 수 있다.
첨부 도면은 본 방안을 충분히 이해하도록 제공되는 것으로서, 본 출원에 대한 한정은 아니다.
도1은 본 출원의 실시예에 따른 스마트 백미러에 사용되는 제어 방법의 예시적인 시스템 구성도이다.
도2는 본 출원에 따른 스마트 백미러에 사용되는 제어 방법의 흐름도이다.
도3은 본 출원에 따른 스마트 백미러의 인터페이스 변화를 나타내는 제1 도면이다.
도4는 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제1 도면이다.
도5는 본 출원에 따른 스마트 백미러의 인터페이스 변화를 나타내는 제2 도면이다.
도6은 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제2 도면이다.
도7은 본 출원에 따른 제1 외부 기기의 인터페이스를 나타내는 도면이다.
도8은 본 출원에 따른 스마트 백미러의 인터페이스를 나타내는 도면이다.
도9는 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제3 도면이다;
도10은 본 출원에 따른 스마트 백미러에 사용되는 제어 방법이 적용되는 시나리오를 나타내는 도면이다.
도11은 본 출원에 따른 스마트 백미러에 사용되는 제어 장치의 제1 구성도이다.
도12는 본 출원에 따른 스마트 백미러에 사용되는 제어 장치의 제2 구성도이다.
도13은 본 출원에 따른 전자기기이 구조도이다.
아래에서는 첨부 도면과 결합하여 본 출원의 예시적인 실시예에 대하여 설명하며, 이해를 돕기 위하여 본 출원의 실시예의 다양한 세부 사항을 포함하며, 이들을 단지 예시적인 것으로만 간주되어야 한다. 따라서, 본 분야의 통상적인 지식을 가진자라면, 여기에 설명된 실시예에 대하여 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 범위와 정신을 벗어나지 않는 것으로 이해하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 설명에서 공지 기능과 구조에 대한 설명을 생략한다.
도1은 본 출원의 실시예에 따른 스마트 백미러에 사용되는 제어 방법의 예시적인 시스템 구성도이다. 도1에 도시된 바와 같이, 해당 방법은 스마트 백미러와 적어도 하나의 외부 기기에 관한 것이다. 본 실시예에서 스마트 백미러는 차량 내에 설치되고, 스마트 백미러는 차량 내부의 윈드쉴드 중앙 등에 가까운 위치 상에 장착될 수 있으며, 본 실시예에서의 스마트 백미러는 후방 표시 기능만 구비하는 백미러, 또는 후진 보조 기능을 구비하는 스마트 백미러, 또는 기타 기능,예컨대 네비게이션, 음악 재생 등의 기능을 구비하는 스마트 백미러일 수 있지만 이에 한정되지 않는다.
본 실시예에서 외부 기기는 차량에 구비된 차량 머신, 또는 차량에 위치하는 사용자의 단말기 등일 수 있다. 여기서, 본 실시예에서의 차량 머신은 차량의 센터 콘솔 내에 장착될 수 있으며, 차량 머신의 스크린이 센터 콘솔 표면에 장착되어 사용자에게 다양한 정보를 표시한다. 스마트 백미러와 차량 머신 간에 유선으로 연결될 수 있고, 예를 들어 범용 직렬 버스(Universal Serial Bus, USB로 약칭)를 통해 차량 머신과 연결되거나, 또는, 무선으로 연결될 수도 있으며, 예를 들어 블루투스 연결, 또는 와이파이(Wireless Fidelity, Wi-Fi로 약칭)를 통해 연결된다. 본 실시예 에서 스마트 백미러는 차량 후진을 보조할 수 있으며, 스마트 백미러 상에 애플리케이션이 더 설치되어, 음악 재생, 맵 네비게이션 등의 다양한 기능을 구현할 수 있다. 본 실시예에서 사용자의 단말기는 휴대폰, 개인 정보 단말(Personal Digital Assistant, PDA로 약칭), 태블릿 컴퓨터, 휴대식 기기(예를 들어, 휴대식 컴퓨터, 미니 컴퓨터 또는 핸드헬드 컴퓨터) 등일 수 있으나 이에 한정되지 않는다. 도1에서 하나의 외부 기기를 도시하며, 해당 외부 기기가 차량 머신인 예를 들어 설명한다.
스마트 백미러는 도1에 도시된 바와 같이 대부분 차량 내부에서 윈드쉴드 중앙에 가까운 위치에 설치되므로, 사용자가 스마트 백미러의 인터페이스를 조작 및 시청할 때, 주의력을 머리 상부로 돌려야 하므로, 조작이 불편하고, 사용자의 주행 안전에 위험을 초래한다. 종래기술에서는 이러한 문제점을 해결하기 위하여, 스마트 백미러의 인터페이스를 외부 기기에 스크린 프로젝션하는 기술방안이 제기되었으며, 외부 기기는 예컨대 차량 머신으로서, 사용자가 차량 머신을 시청함으로써 스마트 백미러에 표시되는 내용을 획득할 수 있도록 하여, 사용자가 스마트 백미러를 시청함에 따라 주행 안전에 영향을 미치는 문제점을 방지한다.
하지만 종래기술은 스마트 백미러의 인터페이스를 차량 머신에 스크린 프로젝션한 후, 만약 사용자가 스크린 프로젝션 후의 인터페이스에 대해 조작이 필요할 때, 스마트 백미러 상에서만 조작이 가능하고, 차량 머신 상에서 스마트 백미러 상의 인터페이스를 제어할 수 없으므로, 기존의 스마트 백미러의 인터페이스를 차량 머신에 스크린 프로젝션한 후 여전히 조작이 불편하고, 사용자의 주행 안전에 위험을 초래하는 문제점이 존재한다.
상술한 문제점을 해결하기 위하여, 본 출원은 스마트 백미러에 사용되는 제어 방법을 제공하며, 해당 방법에 따르면 스마트 백미러의 인터페이스를 외부 기기에 스크린 프로젝션한 후, 사용자는 외부 기기 상에 스크린 프로젝션된 인터페이스에서 조작할 수 있으므로, 스마트 백미러의 인터페이스에 대한 제어가 가능해지고, 조작이 간편하며, 사용자의 주행 안전을 확보할 수 있다.
아래에서는 구체적인 실시예를 결합하여 본 출원에 따른 스마트 백미러에 사용되는 제어 방법에 대해 설명한다. 도2는 본 출원에 따른 스마트 백미러에 사용되는 제어 방법의 흐름도이다. 이해해야 할 것으로서, 도2에 도시된 방법 프로세스의 수행 주체는 스마트 백미러에 사용되는 제어 장치일 수 있고, 해당 스마트 백미러에 사용되는 제어 장치는 스마트 백미러 또는 스마트 백미러 중 스크린 프로젝션 제어 기기일 수 있고, 해당 스크린 프로젝션 제어 기기는 프로세서 또는 칩 등일 수 있고, 해당 스크린 프로젝션 제어 기기는 임의의 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 아래에서는 스마트 백미러의 제어 장치가 스크린 프로젝션 제어 기기인 예를 들어 설명한다.
도2에 도시된 바와 같이, 본 실시예에 따른 스마트 백미러에 사용되는 제어 방법은 아래의 단계들을 포함할 수 있다.
S201, 스크린 프로젝션 제어 기기는 스마트 백미러의 인터페이스 표시 정보를 획득한다.
S202, 스크린 프로젝션 제어 기기는 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 인터페이스 표시 정보를 발송한다.
S203, 제1 외부 기기가 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시한다.
S204, 제1 외부 기기는 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성한다.
S205, 제1 외부 기기가 스크린 프로젝션 제어 기기로 사용자 조작 정보를 발송한다.
S206, 스크린 프로젝션 제어 기기가 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 사용자 조작 정보는 적어도 하나의 외부 기기에 대한 사용자의 조작을 나타내기 위한 것이다.
상술한 S201에서, 스마트 백미러의 인터페이스 스크린 프로젝션 시, 스크린 프로젝션 제어 기기는 스마트 백미러의 인터페이스 표시 정보를 획득할 수 있다. 본 실시예에서 스크린 프로젝션 제어 기기는 스마트 백미러 상에 표시되는 인터페이스에 대해 화면 녹화하여, 스마트 백미러의 인터페이스 표시 정보를 획득할 수 있다. 또는, 스크린 프로젝션 제어 기기는 스마트 백미러의 현재 인터페이스의 표시 정보를 획득하고, 해당 현재 인터페이스의 표시 정보를 인터페이스 표시 정보로 할수도 있으며, 이러한 방식에서, 인터페이스 표시 정보는 인터페이스의 구조화 레이아웃, 및 인터페이스에 표시되는 정보 등일 수 있다.
상술한 S202에서, 본 실시예 중의 적어도 하나의 외부 기기는 상술한 관련 기재를 참조할 수 있으며, 여기서는 중복되는 설명을 생략한다. 스마트 백미러를 적어도 하나의 외부 기기에 스크린 프로젝션할 때, 각각의 외부 기기가 모두 스마트 백미러의 인터페이스 표시 정보를 기초로, 스마트 백미러 상의 인터페이스를 확정하고, 나아가 외부 기기 상에서 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시할 수 있도록, 스마트 백미러의 인터페이스 표시 정보를 해당 적어도 하나의 외부 기기로 발송할 수 있다.
상술한 S203에서, 본 실시예에서, 제1 외부 기기는 상술한 적어도 하나의 외부 기기 중 임의의 기기이고, 이하에서는 제1 외부 기기를 예로 들어, 해당 적어도 하나의 외부 기기 중 각각의 외부 기기의 조작 과정에 대해 설명한다. 각각의 외부 기기의 조작 과정은 해당 제1 외부 기기의 조작 과정과 동일하다.
본 실시예에서, 제1 외부 기기는 스크린 프로젝션 제어 기기로부터 제공되는 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시할 수 있다. 여기서, 스마트 백미러의 인터페이스 표시 정보는 스마트 백미러의 메인 인터페이스 표시 정보 또는 스마트 백미러 상의 애플리케이션의 인터페이스 표시 정보일 수 있다. 이해해야 할 것으로서, 스마트 백미러의 메인 인터페이스는 애플리케이션에 진입하기 전의 스마트 백미러의 인터페이스일 수 있다.
선택적으로, 본 실시예 중 스마트 백미러의 인터페이스 상에 스크린 프로젝션 컨트롤이 표시될 수 있으며, 사용자기 해당 스크린 프로젝션 컨트롤을 선택한 후, 스크린 프로젝션 제어 기기는 스마트 백미러의 인터페이스가 적어도 하나의 외부 기기에 스크린 프로젝션되도록 제어한다.
예시적으로, 도3은 본 출원에 따른 스마트 백미러의 인터페이스 변화를 나타내는 제1 도면이다. 도3 중 인터페이스(301)에 도시된 바와 같이, 해당 인터페이스(301)는 스마트 백미러의 메인 인터페이스이고, 해당 메인 인터페이스 상에 스마트 백미러 상의 애플리케이션의 아이콘, 날자, 시간, 설정 등의 정보가 표시되어 있다. 여기서, 해당 인터페이스(301) 상에 스크린 프로젝션 컨트롤이 더 표시되어 있으며, 만약 사용자가 해당 스크린 프로젝션 컨트롤을 클릭하면, 인터페이스(301)는 인터페이스(302)로 점프되고, 해당 인터페이스(302) 상에 스크린 프로젝션되는 외부 기기의 식별자, 예컨대 "외부 기기1"이 표시되며, 인터페이스(301) 중 정보가 표시된다. 선택적으로, 해당 인터페이스(302) 상에 인터페이스(301) 중 정보가 표시되지 않을 수도 있으며, 스크린 프로젝션되는 외부 기기의 식별자, 예컨대 "외부 기기1", 및 "메인 인터페이스는 이미 외부 기기에 스크린 프로젝션되었습니다"라는 문자 알림 정보가 표시될 수도 있다. 이해하여야 할 것으로서, 스마트 백미러의 인터페이스를 외부 기기에 스크린 프로젝션하기 전에, 스마트 백미러는 외부 기기와 유선 연결 또는 무선 연결을 구축한다.
스크린 프로젝션 제어 기기가 스마트 백미러의 인터페이스가 외부 기기에 스크린 프로젝션되도록 제어한 후, 외부 기기 상에는 대응되게 스마트 백미러 상에 스크린 프로젝션되는 인터페이스가 표시될 수 있다.
예시적으로, 도4는 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제2 도면이다. 도4 중 인터페이스(401)에 도시된 바와 같이, 해당 인터페이스(401)는 제1 외부 기기의 스크린 프로젝션 전의 인터페이스로서, 해당 인터페이스는 제1 외부 기기의 메인 인터페이스일 수 있고, 예컨대 해당 인터페이스(401) 상에 날자, 시간, 설정 등의 정보가 표시될 수 있다. 스마트 백미러의 인터페이스가 제1 외부 기기에 스크린 프로젝션된 후, 해당 제1 외부 기기의 인터페이스(401)는 인터페이스(402)로 점프되고, 해당 인터페이스(402)는 상술한 도3 중 인터페이스(301)와 동일할 수 있지만, 해당 인터페이스(402)에 스크린 프로젝션 컨트롤이 표시되어 있지 않다.
상술한 S204와 상술한 S205에서, 제1 외부 기기는 제1 외부 기기 상에 표시되는 스크린 프로젝션 인터페이스에 대한 사용자의 조작을 검출하여, 사용자 조작 정보를 생성할 수 있다. 이해하여야 할 것으로서, 사용자 조작 정보는 제1 외부 기기에 대한 사용자의 조작 정보를 나타내기 위한 것이다. 여기서, 사용자 조작 정보는 제1 외부 기기 상에 설치된 기계적 컨트롤에 대한 사용자의 조작을 나타내거나, 또는 제1 외부 기기 상에 표시되는 스크린 프로젝션 인터페이스에 대한 사용자의 조작을 나타낼 수 있다. 한편, 본 실시예에서, 제1 외부 기기는 또한 스크린 프로젝션 제어 기기로 사용자 조작 정보를 발송하고, 사용자 조작 정보는 스크린 프로젝션 제어 기기가 스마트 백미러에 대해 제어하도록 지시함으로써, 스크린 프로젝션 제어 기기스가 스마트 백미러를 제어하여 대응되는 조작을 수행하도록 한다.
예시적으로, 인터페이스(402)에서, 만약 사용자가 설정 컨트롤을 클릭하면, 제1 외부 기기는 해당 인터페이스(402)에 대한 사용자의 조작을 검출하여, 사용자 조작 정보를 생성할 수 있으며, 해당 사용자 조작 정보는 사용자가 설정 컨트롤을 클릭하였음을 나타내기 위한 것이다.
상술한 S206에서, 스크린 프로젝션 제어 기기는 사용자 조작 정보를 수신한 후, 외부 기기의 스크린 프로젝션 인터페이스 상에서의 사용자 조작을 확정할 수 있다. 다시 말하면, 본 실시예 중 스크린 프로젝션 제어 기기는 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어할 수 있다.
예시적으로, 사용자 조작 정보는 사용자가 설정 컨트롤을 클릭하였음을 나타내기 위한 것이면, 스크린 프로젝션 제어 기기는 스마트 백미러가 설정 인터페이스에 진입하는 조작을 수행하도록 제어하고, 대응되게, 상술한 스마트 백미러의 인터페이스(302)는 인터페이스(303)로 점프되고, 해당 인터페이스(303)는 스마트 백미러의 설정 인터페이스이다. 예컨대, 해당 인터페이스(303) 상에 연결 방식, 예컨대 블루투스 연결, 더 많은 연결 등의 설정, 및 인터페이스의 밝기와 바탕화면 등의 설정이 표시될 수 있다. 스마트 백미러의 인터페이스가 해당 제1 외부 기기에 스크린 프로젝션되므로, 대응되게, 외부 기기의 인터페이스(402)는 인터페이스(403)로 점프되며, 해당 인터페이스(403)는 상술한 인터페이스(303)와 동일하다.
본 실시예에서 제공하는 스마트 백미러에 사용되는 제어 방법은, 스마트 백미러의 인터페이스 표시 정보를 획득하는 단계; 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 인터페이스 표시 정보를 발송하는 단계; 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 사용자 조작 정보는 적어도 하나의 외부 기기에 대한 사용자의 조작을 나타내기 위한 것인 단계를 포함한다. 본 실시예에서 외부 기기는 외부 기기에 스크린 프로젝션되는 인터페이스에 대한 사용자 조작을 검출하고, 나아가 스마트 백미러의 스크린 프로젝션 제어 기기로 사용자 조작 정보를 발송하여, 인터페이스에 대한 스마트 백미러의 제어를 구현할 수 있는 바, 다시 말하면, 본 실시예에서 사용자는 외부 기기 상에서 스마트 백미러에 스크린 프로젝션되는 인터페이스에 대해 제어할 수 있으며, 조작이 간편하고, 사용자의 주행 안전을 확보한다.
상술한 실시예의 기초 상에서, 후술하는 실시예에서는 스마트 백미러 상의 애플리케이션의 스크린 프로젝션 제어 과정에 대해 설명한다. 이해하여야 할 것으로서, 후술하는 실시예 중 스마트 백미러에 사용되는 제어 방법은 상술한 실시예에도 적용된다. 여기서, 상술한 스마트 백미러의 인터페이스는 스마트 백미러 상의 애플리케이션의 인터페이스로서, 예컨대 스마트 백미러 상의 애플리케이션은 예를 들어 상술한 인터페이스(301)에 도시된 음악 애플리케이션, 네비게이션 애플리케이션 또는 날씨 애플리케이션 등일 수 있다. 대응되게, 사용자는 외부 기기 상에 스크린 프로젝션되는 인터페이스에 대한 사용자의 조작은, 바로 외부 기기 상에 스크린 프로젝션되는 애플리케이션의 인터페이스에 대한 조작이며, 스크린 프로젝션 제어 기기는 사용자 조작 정보를 기초로, 스마트 백미러 상의 애플리케이션이 대응되는 조작을 수행하도록 제어할 수 있다.
이하에서는 도4를 참조하여 본 출원에 따른 스마트 백미러에 사용되는 제어 방법에 대해 추가적으로 상세하게 설명한다. 도4는 본 출원에 따른 스마트 백미러에 사용되는 제어 방법의 실시예 2의 흐름도이다. 도4에 도시된 바와 같이, 본 실시예에 따른 스마트 백미러에 사용되는 제어 방법은 아래의 단계들을 포함할 수 있다.
S401, 스크린 프로젝션 제어 기기가 사용자에 의해 입력된 스크린 프로젝션 지시를 수신하고, 스마트 백미러 상의 애플리케이션의 인터페이스를 녹화하여, 스크린 프로젝션할 비디오를 획득하며, 스크린 프로젝션 지시는 애플리케이션의 인터페이스가 적어도 하나의 외부 기기에 스크린 프로젝션되도록 지시하기 위한 것이다.
S402, 스크린 프로젝션 제어 기기는 적어도 하나의 외부 기기로 스크린 프로젝션할 비디오를 발송한다.
S403, 제1 외부 기기는 스크린 프로젝션할 비디오를 기초로, 스마트 백미러 상의 애플리케이션의 인터페이스를 표시한다 .
S404, 제1 외부 기기는 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성한다.
S405, 제1 외부 기기가 스크린 프로젝션 제어 기기로 사용자 조작 정보를 발송한다.
S406, 스크린 프로젝션 제어 기기는 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하며, 트리거 이벤트는 애플리케이션이 대응되는 조작을 수행하도록 지시한다.
S407, 트리거 이벤트를 기초로, 스마트 백미러 상의 애플리케이션이 대응되는 조작을 수행하도록 제어한다.
상술한 S401에서, 스마트 백미러의 인터페이스가 스마트 백미러 상의 애플리케이션의 인터페이스일 때, 애플리케이션의 인터페이스 상에 스크린 프로젝션 컨트롤이 표시될 수 있으며, 사용자는 해당 스크린 프로젝션 컨트롤을 클릭하여, 스마트 백미러 중 스크린 프로젝션 제어 기기로 스크린 프로젝션 지시를 입력하도록 트리거할 수 있다. 이해하여야 할 것으로서, 본 실시예에서 사용자는 또한 음성 명령 또는 동작 명령의 방식으로 스크린 프로젝션 지시를 입력할 수 있다.
예시적으로, 도5는 본 출원에 따른 스마트 백미러의 인터페이스 변화를 나타내는 제2 도면이다. 예컨대 도5 중 인터페이스(501)에 도시된 바와 같이, 해당 인터페이스(501)에 표시된 것은 스마트 백미러가 적어도 하나의 외부 기기에 스크린 프로젝션한 음악 애플리케이션의 인터페이스로서, 해당 인터페이스 상에서 음악이 재생되고 있는 인터페이스이다.
여기서, 본 실시예에서 애플리케이션 프로그램의 인터페이스에 스크린 프로젝션하는 방식에 따르면, 스크린 프로젝션 제어 기기가 스마트 백미러 상의 애플리케이션의 인터페이스를 녹화하여, 스크린 프로젝션할 비디오를 획득하고, 나아가 적어도 하나의 외부 기기로 해당 스크린 프로젝션할 비디오를 발송하여, 각각의 외부 기기가 애플리케이션 프로그램의 인터페이스에 대해 스크린 프로젝션하도록 한다.
상술한 S402에서, 스크린 프로젝션 제어 기기가 해당 스크린 프로젝션할 비디오를 획득한 후, 해당 스크린 프로젝션할 비디오에 대해 코딩하여, 적어도 하나의 외부 기기로 코딩된 후의 스크린 프로젝션할 비디오를 발송할 수 있다.
대응되게, 상술한 S403에서, 제1 외부 기기는 스크린 프로젝션 제어 기기로부터 제공되는 스크린 프로젝션할 비디오가 수신되면, 해당 스크린 프로젝션할 비디오에 대해 디코딩하여, 제1 외부 기기 상에 해당 애플리케이션의 인터페이스를 표시할 수 있다. 예시적으로, 도6은 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제2 도면이다. 예컨대 도6 중 인터페이스(601)에 도시된 바와 같이, 해당 인터페이스(601)에 표시된 것은 스마트 백미러 상의 음악 애플리케이션의 인터페이스로서, 해당 인터페이스 상에서 음악이 재생되고 있는 인터페이스이다.
상술한 S404에서, 예컨대, 사용자는 해당 인터페이스(601)에 대해 노래 스위칭, 또는 음량 조절, 패스트 포워드 등의 조작을 수행할 수 있으며, 이해하여야 할 것으로서, 서로 다른 애플리케이션에 대하여, 인터페이스에 대한 사용자의 조작이 서로 다를 수 있다. 여기서, 제1 외부 기기는 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성한다. 여기서, 사용자의 조작 정보는, 사용자가 제1 외부 기기에 현재 표시되는 인터페이스 상에서의 사용자의 조작의 좌표 위치를 포함할 수 있다. 이해하여야 할 것으로서, 인터페이스(601)에 도시된 바와 같이, 만약 제1 외부 기기의 A위치를 원점이라 하고, 수평과 수직 방향을 각각 X축, Y축이라고 하면, 제1 외부 기기에 현재 표시되는 인터페이스 상에서의 사용자의 조작의 좌표 위치는 해당 좌표계에서의 위치이다. 선택적으로, 사용자의 조작 정보는 사용자의 조작 행위를 더 포함할 수 있다. 사용자의 조작 행위는 예컨대 단일 클릭, 더블 클릭, 슬라이딩 등의 행위일 수 있다.
예시적으로, 본 실시예에서 사용자가 해당 인터페이스(601) 상에서 일시 정지 컨트롤을 클릭하면, 해당 사용자의 조작 정보는 사용자가 클릭한 좌표 위치, 및 조작 행위가 단일 클릭인 것을 포함할 수 있다.
상술한 S406에서, 스크린 프로젝션 제어 기기는 제1 외부 기기로부터 제공되는 사용자 조작 정보를 수신한 후, 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성할 수 있다. 여기서, 트리거 이벤트는 애플리케이션이 대응되는 조작을 수행하도록 지시한다.
아래에서는 본 실시예 중 트리거 이벤트를 생성하는 가능한 구현형태에 대해 설명한다.
제1 방식에서, 본 실시예 중 사용자 조작 정보는 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 포함한다. 스크린 프로젝션 제어 기기는 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환할 수 있다.
여기서, 이러한 방식에서, 상술한 인터페이스(601)에 도시된 바와 같이, 만약 제1 외부 기기의 인터페이스가 전체적으로 스크린 프로젝션되는 애플리케이션의 인터페이스를 표시하고, 상술한 인터페이스(501)에 도시된 바와 같이, 스마트 백미러의 인터페이스가 전체적으로 스크린 프로젝션되는 애플리케이션의 인터페이스를 표시하면, 본 실시예에서는 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 사용자가 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정할 수 있다.
예시적으로, 만약 사용자가 인터페이스(601) 상에서 일시 정지 컨트롤을 클릭하면, 해당 사용자의 조작 정보는 사용자가 클릭한 좌표 위치를 포함할 수 있다. 본 실시예에서, 해당 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 해당 좌표 위치의 해당 애플리케이션의 인터페이스에 대한 상대적 위치를 확정할 수 있다. 예컨대 해당 좌표 위치는 해당 애플리케이션의 인터페이스의 왼쪽 하측의 어느 일 지점에 위치한다.
본 실시예에서, 상술한 상대적 위치, 및 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정할 수 있다. 예시적으로, 해당 좌표 위치는 해당 애플리케이션의 인터페이스의 왼쪽 하측의 어느 일 지점에 위치하면, 스마트 백미러 상의 애플리케이션의 인터페이스의 크기를 기초로, 사용자가 클릭한 위치가 해당 스마트 백미러 상의 애플리케이션의 인터페이스의 왼쪽 하측의 어느 일 지점임을 확정할 수 있다.
여기서, 이러한 방식에서, 만약 도7에 도시된 바와 같이 제1 외부 기기의 인터페이스가 부분적으로 스크린 프로젝션되는 애플리케이션의 인터페이스를 표시하고, 기타 부분은 시간 등의 정보를 표시하며, 도8에 도시된 바와 같이 스마트 백미러의 인터페이스가 부분적으로 스크린 프로젝션되는 애플리케이션의 인터페이스를 표시하고, 기타 부분은 시간 등의 정보를 표시한다. 도7은 본 출원에 따른 제1 외부 기기의 인터페이스를 나타내는 도면이다. 도8은 본 출원에 따른 스마트 백미러의 인터페이스를 나타내는 도면이다. 본 실시예에서, 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 사용자가 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정할 수 있다. 이해하여야 할 것으로서, 제1 외부 기기의 인터페이스는 전체적으로 애플리케이션의 인터페이스를 표시하는 것이 아니므로, 사용자가 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정할 때,제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치를 더 확정하여야 한다. 이해하여야 할 것으로서, 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치는 제1 외부 기기의 인터페이스 상에서의 애플리케이션의 인터페이스의 위치의 집합을 의미하는 바, 예컨대 도7 중 제1 외부 기기 좌측의 좌표 위치이다.
예시적으로, 만약 사용자가 인터페이스(601) 상에서 일시 정지 컨트롤를 클릭하면, 해당 사용자의 조작 정보는 사용자가 클릭한 좌표 위치를 포함할 수 있다. 본 실시예에서, 해당 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 해당 애플리케이션의 인터페이스에 대한 해당 좌표 위치의 상대적 위치를 확정할 수 있다. 예컨대 해당 좌표 위치는 해당 애플리케이션의 인터페이스 왼쪽 하측의 어느 일 지점에 위치한다.
대응되게, 스크린 프로젝션 제어 기기는 상대적 위치, 및 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정할 수 있다. 예시적으로, 해당 좌표 위치는 해당 애플리케이션의 인터페이스의 왼쪽 하측의 어느 일 지점에 위치하면, 스마트 백미러 상의 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 사용자가 클릭한 위치가 해당 스마트 백미러 상의 애플리케이션의 인터페이스의 왼쪽 하측 어느 일 지점인 것으로 확정할 수 있다. 이해하여야 할 것으로서, 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환하는 상술한 두가지의 방식은 결합되어 사용될 수 있다.
본 실시예에서, 스크린 프로젝션 제어 기기가 사용자가 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환한 후, 애플리케이션의 인터페이스 레이아웃, 및 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로, 트리거 이벤트를 생성할 수 있다.
여기서, 애플리케이션의 인터페이스 레이아웃을 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치 지점에 대응되는 조작 컨트롤을 확정하고, 나아가 조작 컨트롤을 기초로, 트리거 이벤트를 생성할 수 있다. 예시적으로, 만약 애플리케이션의 인터페이스 레이아웃을 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치 지점에 대응되는 조작 컨트롤이 일시 정지 컨트롤인 것으로 확정되면, 해당 일시 정지 컨트롤을 기초로 트리거 이벤트를 생성하고, 해당 트리거 이벤트는 음악 애플리케이션이 재생을 일시 정지하도록 지시한다.
제2 방식에 따르면, 사용자 조작 정보는 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치와 사용자의 조작 행위를 포함한다. 본 실시예에서 애플리케이션의 인터페이스 레이아웃, 스마트 백미러의 현재 인터페이스 상의 좌표 위치, 및 사용자의 조작 행위를 기초로, 트리거 이벤트를 생성할 수 있다.
이해하여야 할 것으로서, 본 실시예에서 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환하는 방식은 구체적으로 상술한 제1 방식 중 관련 기재를 참조할 수 있다. 본 실시예에서, 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정한 후, 애플리케이션의 인터페이스 레이아웃과 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로 애플리케이션에서의 사용자의 조작 위치를 확정하고, 나아가 사용자의 조작 행위를 기초로, 트리거 이벤트를 생성할 수 있다. 예컨대 사용자의 단일 클릭이 재생을 일시 정지하는 것을 나타내고, 더블 클릭이 노래를 스위칭하는 것을 나타내면, 대응되게, 본 실시예에서 생성한 트리거 이벤트는 음악 애플리케이션이 재생을 일시 정지하도록 지시하거나, 또는 음악 애플리케이션이 노래를 스위칭하도록 지시한다.
대응되게, 상술한 S407에서, 스크린 프로젝션 제어 기기는 트리거 이벤트를 기초로, 스마트 백미러 상의 애플리케이션이 대응되는 조작을 수행하도록 제어할 수 있다. 예시적으로, 만약 사용자가 제1 외부 기기 상에서 일시 정지 컨트롤을 클릭하면, 스크린 프로젝션 제어 기기는 음악 애플리케이션이 재생을 일시 정지하도록 제어하고, 대응되게, 상술한 스마트 백미러의 인터페이스(501)는 인터페이스(502)로 점프되며, 해당 인터페이스(502)는 음악 애플리케이션이 재생을 일시 정지한 인터페이스로서, 예컨대, 해당 인터페이스(502) 상에 음악 일시 정지의 식별자가 표시될 수 있다. 스마트 백미러의 인터페이스는 제1 외부 기기에 스크린 프로젝션되므로, 대응되게, 제1 외부 기기의 인터페이스(601)는 인터페이스(602)로 점프되고, 해당 인터페이스(602)는 상술한 인터페이스(502)와 동일하다.
본 실시예에서, 스크린 프로젝션 제어 기기는 사용자 조작 정보 중 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 사용자의 조작 행위를 기초로, 사용자 조작의 의도를 확정하고, 나아가 대응되는 트리거 이벤트를 생성하여, 스마트 백미러 상의 애플리케이션에 대한 제어를 구현할 수 있다.
상술한 실시예에서는 스마트 백미러 상의 하나의 애플리케이션을 제1 외부 기기에 스크린 프로젝션하여 역제어(즉 제1 외부 기기 상에서 스마트 백미러 상의 애플리케이션에 대해 제어)하는 과정에 대해 상세하게 설명하였다. 주의하여야 할 바로는, 본 출원 중 스마트 백미러에 사용되는 제어 방법은 멀티 애플리케이션이 동시에 스크린 프로젝션되도록 할 수 있다. 대응되게, 멀티 애플리케이션의 인터페이스가 동시에 제1 외부 기기에 스크린 프로젝션될 때, 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 확정하고, 나아가 목표 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성할 수 있다. 이해하여야 할 것으로서, 본 실시예에서 목표 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하는 방식은 구체적으로 상술한 실시예 2 중 "애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하는 것"에 대한 관련 기재를 참조할 수 있다. 여기서, 스크린 프로젝션 제어 기기는 스마트 백미러의 현재 인터페이스 상에 표시되는 애플리케이션을 확정하고, 스마트 백미러의 현재 인터페이스 상에 표시되는 애플리케이션을 목표 애플리케이션으로 할 수 있다.
멀티 애플리케이션의 인터페이스를 동시에 제1 외부 기기에 스크린 프로젝션되는 시나리오에서, 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 더 표시되고, 스위칭 컨트롤은 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 스위칭하도록 지시한다. 선택적으로, 해당 스위칭 컨트롤은 목표 애플리케이션을 제외한 기타 스크린 프로젝션되고 있는 애플리케이션의 식별자일 수 있다.
대응되게, 만약 사용자가 해당 스위칭 컨트롤을 클릭하면, 제1 외부 기기가 생성한 사용자 조작 정보는 제1 외부 기기의 현재 인터페이스 상에서의 스위칭 컨트롤의 좌표 위치와 스위칭된 후의 애플리케이션의 식별자를 포함; 또는, 제1 외부 기기가 생성한 사용자 조작 정보는 제1 외부 기기의 현재 인터페이스 상에서의 스위칭 컨트롤의 좌표 위치, 사용자의 조작 행위, 및 스위칭된 후의 애플리케이션의 식별자를 포함한다. 대응되게, 스크린 프로젝션 제어 기기가 해당 사용자의 조작 행위를 기초로 생성한 트리거 이벤트는 목표 애플리케이션으로부터 스위칭된 후의 애플리케이션으로 스위칭되도록 제어한다. 대응되게, 스크린 프로젝션 제어 기기는 트리거 이벤트를 기초로, 스마트 백미러 상의 애플리케이션이 스위칭된 후의 애플리케이션으로 스위칭되도록 제어한다.
예시적으로, 도9는 본 출원에 따른 제1 외부 기기의 인터페이스 변화를 나타내는 제3 도면이다. 도9에 도시된 바와 같이, 해당 인터페이스(901)는 음악 애플리케이션이 스크린 프로젝션되는 인터페이스이며, 해당 인터페이스(901) 상에 스위칭 컨트롤이 표시되고, 예컨대 스위칭 컨트롤은 네비게이션 애플리케이션의 식별자와 날씨 애플리케이션의 식별자이다. 사용자가 네비게이션 애플리케이션의 식별자를 클릭한 후, 인터페이스(901)는 인터페이스(902)로 점프되고, 해당 인터페이스(902)에는 네비게이션 애플리케이션의 인터페이스가 표시된다. 이해하여야 할 것으로서, 도9와 대응되게, 스마트 백미러의 인터페이스 변화는 도9 중 인터페이스 변화와 동일할 수 있다.
본 실시예 중 스마트 백미러에 사용되는 제어 방법이 멀티 애플리케이션의 스크린 프로젝션을 구현할 수 있다는 것을 설명하기 위하여, 우선 종래기술 중 스마트 백미러에 사용되는 제어 방법에 대해 설명한다.
종래기술 중 스크린 프로젝션 방식에 따르면, 스마트 백미러 상에 스크린 프로젝션 애플리케이션을 설치하고, 하나의 애플리케이션의 인터페이스를 외부 기기에 스크린 프로젝션할 때, 해당 스크린 프로젝션할 애플리케이션을 작동시켜, 해당 애플리케이션의 인터페이스의 스크린 프로젝션을 구현하여야 한다. 여기서, 해당 스크린 프로젝션 애플리케이션에 스마트 백미러 상의 애플리케이션의 서비스 로직 코드가 집적되어 있으며, 스크린 프로젝션을 수행할 때, 애플리케이션의 서비스 로직 코드 및 스크린 프로젝션 코드를 호출하여 구현하여야 한다. 만약 스마트 백미러 상에 애플리케이션이 증가되면, 해당 증가된 애플리케이션의 서비스 로직 코드를 해당 스크린 프로젝션 애플리케이션에 복사하여야 하며, 구체적으로는 해당 스크린 프로젝션 애플리케이션의 설치 패키지APK(Android Application Package)에 복사하여야 한다. 또한 종래기술에서 각 애플리케이션의 스크린 프로젝션은 모두 하나의 프로세서에서 구현되며(즉 해당 스크린 프로젝션 애플리케이션), 종래기술에서는 동시에 하나의 애플리케이션의 인터페이스를 스크린 프로젝션할 수 밖에 없다. 종래기술에서 사용자가 애플리케이션를 스크린 프로젝션할 때, 현재 스크린 프로젝션되는 애플리케이션을 종료하고, 다른 애플리케이션을 스크린 프로젝션하여야 하므로, 멀티 애플리케이션을 외부 기기에 동시에 스크린 프로젝션할 수 없다.
반면, 본 실시예에서, 스마트 백미러 중 각 애플리케이션에 소프트웨어 개발 키트(Software Development Kit, SDK)를 설치하고, 해당 SDK에 역제어를 구현하기 위한 서비스 로직이 집적되어, 각 애플리케이션이 조작에 대응되는 동작을 수행하도록 제어한다. 본 실시예에서 애플리케이션을 증가할 때, 해당 증가된 애플리케이션에 SDK를 집적하기만 하면 되며, 해당 증가된 애플리케이션의 서비스 로직 코드를 복제할 필요가 없으므로, 이벤트를 절약하고, 이후의 기타 애플리케이션이 신속하게 스크린 프로젝션 역제어를 확장하는데 유리하다.
대응되게, 본 실시예에서는 도10을 참조하여 본 출원에 따른 스마트 백미러에 사용되는 제어 방법에 대해 추가적으로 설명한다. 도10은 본 출원에 따른 스마트 백미러에 사용되는 제어 방법이 적용되는 시나리오를 나타내는 도면으로서, 도10에 도시된 바와 같이, 해당 시나리오는 제1 외부 기기와 스마트 백미러를 포함한다. 스마트 백미러에는 스크린 프로젝션 제어 기기, 및 예컨대 음악 애플리케이션, 네비게이션 애플리케이션 및 날씨 애플리케이션과 같은 복수의 애플리케이션이 포함된다. 제1 외부 기기는 상술한 실시예 중 제1 외부 기기에 의해 수행되는 동작을 수행하기 위한 것이고, 스크린 프로젝션 제어 기기는 상술한 스크린 프로젝션 제어 기기에 의해 수행되는 동작을 구현하기 위한 것이다.
스크린 프로젝션 제어 기기는 스크린 프로젝션 지시를 수신한 후, 스크린 프로젝션해야 할 애플리케이션을 우선 스크린 프로젝션 제어 기기에 등록하고, 스크린 프로젝션 제어 기기는 각각의 스크린 프로젝션되는 애플리케이션의 스크린 프로젝션 프로세스를 구축하며, 나아가 애플리케이션의 인터페이스가 제1 외부 기기에 스크린 프로젝션되도록 제어하고, 애플리케이션의 상태가 스크린 프로젝션 상태임을 저장한다.
스크린 프로젝션 제어 기기는 제1 외부 기기로부터 제공되는 사용자 조작 정보를 수신한 후, 해당 사용자 조작 정보와 애플리케이션의 인터페이스 레이아웃을 기초로, 트리거 이벤트(MotionEvent)를 생성하고, 트리거 이벤트를 목표 애플리케이션(제1 외부 기기의 현재 인터페이스 상에 표시되는 애플리케이션)의 스크린 프로젝션 프로세스에서에 배포할 수 있으며, 구체적으로 목표 애플리케이션 스크린 프로젝션 프로세스 중 이벤트 입력 윈도우(window.inject Input Event(event))에 배포하고, 나아가 목표 애플리케이션이 SDK 중 역제어 서비스 로직을 사용하여 목표 애플리케이션에 대한 역제어를 구현하도록 제어할 수 있다.
대응되게, 애플리케이션이 스크린 프로젝션을 종료할 때, 스크린 프로젝션 제어 기기는 애플리케이션의 스크린 프로젝션 상태를 종료 상태로 변경할 수 있다.
본 실시예에 따른 스마트 백미러에 사용되는 제어 방법은, 스마트 백미러의 복수의 애플리케이션에 대해 동시에 스크린 프로젝션을 수행할 수 있고, 복수의 스크린 프로젝션되는 애플리케이션에 대한 스위칭을 수행할 수 있으므로, 종래기술에서 사용자가 애플리케이션의 스크린 프로젝션을 수행할 때, 현재 스크린 프로젝션되는 애플리케이션을 종료한 다음, 다른 애플리케이션을 스크린 프로젝션해야 하는 문제점을 해결하고, 사용자 체험을 향상시킨다.
도11은 본 출원에 따른 스마트 백미러에 사용되는 제어 장치의 제1 구성도이다. 해당 스마트 백미러에 사용되는 제어 장치는 상술한 실시예 중 스크린 프로젝션 제어 기기이다. 도11에 도시된 바와 같이, 해당 스마트 백미러에 사용되는 제어 장치(1100)는 처리모듈(1101)과 송수신 모듈(1102)을 포함한다.
처리모듈(1101)은 스마트 백미러의 인터페이스 표시 정보를 획득하기 위한 것이다.
송수신 모듈(1102)은 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 인터페이스 표시 정보를 발송하기 위한 것이다.
대응되게, 처리모듈(1101)은 또한 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 스마트 백미러가 대응되는 조작을 수행하도록 제어하기 위한 것이며, 사용자 조작 정보는 적어도 하나의 외부 기기에 대한 사용자의 조작을 나타내기 위한 것이다.
일 가능한 구현형태에서, 스마트 백미러의 인터페이스 표시 정보는 스마트 백미러 상의 애플리케이션의 인터페이스 표시 정보이다.
대응되게, 처리모듈(1101)은 구체적으로 사용자 조작 정보를 기초로, 스마트 백미러 상의 애플리케이션이 대응되는 조작을 수행하도록 제어하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 구체적으로 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하되, 트리거 이벤트는 애플리케이션이 대응되는 조작을 수행하도록 지시하기 위한 것이고; 트리거 이벤트를 기초로, 스마트 백미러 상의 애플리케이션이 대응되는 조작을 수행하도록 제어하기 위한 것이다.
일 가능한 구현형태에서, 사용자 조작 정보는 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 포함하고, 제1 외부 기기는 적어도 하나의 외부 기기 중 임의의 기기이다.
대응되게, 처리모듈(1101)은 구체적으로 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환하고; 애플리케이션의 인터페이스 레이아웃, 및 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로, 트리거 이벤트를 생성하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 구체적으로 애플리케이션의 인터페이스 레이아웃을 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치 지점에 대응되는 조작 컨트롤을 확정하고; 조작 컨트롤을 기초로, 트리거 이벤트를 생성하기 위한 것이다.
일 가능한 구현형태에서, 사용자 조작 정보는 사용자의 조작 행위를 포함한다.
대응되게, 처리모듈(1101)은 구체적으로 애플리케이션의 인터페이스 레이아웃, 스마트 백미러의 현재 인터페이스 상의 좌표 위치, 및 사용자의 조작 행위를 기초로, 트리거 이벤트를 생성하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 구체적으로 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 사용자가 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정하고; 상대적 위치, 및 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 구체적으로 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 사용자가 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정하고; 상대적 위치, 및 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정하기 위한 것이다.
일 가능한 구현형태에서, 애플리케이션은 복수이다.
대응되게, 처리모듈(1101)은 구체적으로 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 확정하고; 목표 애플리케이션의 인터페이스 레이아웃과 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 구체적으로 스마트 백미러의 현재 인터페이스 상에 표시되는 애플리케이션을 목표 애플리케이션으로 하기 위한 것이다.
일 가능한 구현형태에서, 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 더 표시되고, 스위칭 컨트롤은 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 스위칭하도록 제어하기 위한 것이고; 대응되게, 사용자 조작 정보는 제1 외부 기기의 현재 인터페이스 상에서의 스위칭 컨트롤의 좌표 위치와 스위칭된 후의 애플리케이션의 식별자를 포함하고, 트리거 이벤트는 목표 애플리케이션으로부터 스위칭된 후의 애플리케이션으로 스위칭되도록 한다.
대응되게, 처리모듈(1101)은 구체적으로 트리거 이벤트를 기초로, 스마트 백미러 상의 목표 애플리케이션이 스위칭된 후의 애플리케이션으로 스위칭되도록 제어하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은 또한 애플리케이션의 스크린 프로젝션 프로세스를 구축하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1101)은, 구체적으로 사용자에 의해 입력된 스크린 프로젝션 지시를 수신하고, 스마트 백미러 상의 애플리케이션의 인터페이스를 녹화하여, 스크린 프로젝션할 비디오를 획득하고, 스크린 프로젝션 지시는 애플리케이션의 인터페이스을 제1 외부 기기에 스크린 프로젝션하도록 지시하고; 제1 외부 기기로 스크린 프로젝션할 비디오를 발송하기 위해 사용된다.
일 가능한 구현형태에서, 처리모듈(1101)은 또한 애플리케이션의 상태가 스크린 프로젝션 상태임을 저장하고, 및 애플리케이션이 스크린 프로젝션을 종료하면, 애플리케이션의 스크린 프로젝션 상태를 종료 상태로 변경하고, 애플리케이션의 스크린 프로젝션 프로세스를 종료하기 위한 것이다.
도12는 본 출원에 따른 스마트 백미러에 사용되는 제어 장치의 제2 구성도이다. 해당 스마트 백미러에 사용되는 제어 장치는 상술한 실시예 중 제1 외부 기기이다. 도12에 도시된 바와 같이, 해당 스마트 백미러에 사용되는 제어 장치(1200)는 표시모듈(1201), 처리모듈(1202)과 송수신 모듈(1203)을 포함한다.
송수신 모듈(1203)은 스크린 프로젝션 제어 기기로부터 제공되는 인터페이스 표시 정보를 수신하기 위한 것이다.
표시모듈(1201)은 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시하기 위한 것이다.
처리모듈(1202)은 만약 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하기 위한 것이다.
송수신 모듈(1203)은 또한 스크린 프로젝션 제어 기기로 사용자 조작 정보를 발송하기 위한 것이다.
일 가능한 구현형태에서, 스마트 백미러의 인터페이스 표시 정보는 스마트 백미러 상의 애플리케이션의 인터페이스 표시 정보이다.
일 가능한 구현형태에서, 처리모듈(1202)은 구체적으로 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 검출하여, 사용자 조작 정보를 생성하기 위한 것이다.
일 가능한 구현형태에서, 처리모듈(1202)은 구체적으로 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치와 조작 행위를 검출하여, 사용자 조작 정보를 생성하기 위한 것이다.
일 가능한 구현형태에서, 애플리케이션은 복수이고, 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 더 표시되고, 스위칭 컨트롤은 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션이 스위칭되도록 지시하고, 사용자 조작 정보는 제1 외부 기기의 현재 인터페이스 상에서의 스위칭 컨트롤의 좌표 위치 및 스위칭된 후의 애플리케이션의 식별자를 포함한다.
일 가능한 구현형태에서, 송수신 모듈(1203)은 또한 스크린 프로젝션 제어 기기와 연결된 후, 스크린 프로젝션 제어 기기로부터 제공되는 스크린 프로젝션할 비디오를 수신하기 위해 사용되고, 스크린 프로젝션할 비디오는 애플리케이션의 인터페이스를 녹화하여 획득한 비디오이다.
대응되게, 표시모듈(1201)은 구체적으로 스크린 프로젝션할 비디오를 기초로, 스마트 백미러 상의 애플리케이션의 인터페이스를 표시한다 .
본 실시예에 따른 스마트 백미러에 사용되는 제어 장치는 상술한 스마트 백미러에 사용되는 제어 방법의 구현 원리와 기술 효과가 유사하므로, 여기서 중복되는 설명을 생략한다.
본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장매체를 더 제공한다. 도13은 본 출원에 따른 전자기기의 구조도이다. 해당 전자기기는 상술한 실시예 중 스마트 백미러일 수 있다. 본 명세서에 따른 부재, 이들의 연결와 관계, 및 이들의 기능은 단순히 예시일 뿐, 본 명세서에 기재 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.
도 13에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(1301), 메모리(1302), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 같이 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 13은 하나의 프로세서(1301)를 예로 든다.
메모리(1302)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 적어도 하나의 프로세서가 본 출원에 따른 스마트 백미러에 사용되는 제어 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 스마트 백미러에 사용되는 제어 방법을 수행하도록 한다.
메모리(1302)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 스마트 백미러에 사용되는 제어 방법에 대응되는 프로그램 명령/모듈을 저장할 수 있다. 프로세서(1301)는 메모리(1302)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 스마트 백미러에 사용되는 제어 방법을 구현한다.
메모리(1302)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 스마트 백미러에 사용되는 제어 방법을 수행하기 위한 전자기기의 사용에 따라 구성되는 데이터 등을 저장할 수 있다. 한편, 메모리(1302)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장 장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(1302)는 선택적으로 프로세서(1301)에 대해 원격으로 설치되는 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 스마트 백미러에 사용되는 제어 방법을 수행하기 위한 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
스마트 백미러에 사용되는 제어 방법을 위한 전자기기는 입력장치(1303)와 출력장치(1304)를 더 포함할 수 있다. 프로세서(1301), 메모리(1302), 입력장치(1303) 및 출력장치(1304)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 13에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력장치(1303)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 스마트 백미러에 사용되는 제어 방법을 위한 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조종 레버 등의 입력장치가 있다. 출력장치(1304)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 본 출원은 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공하며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 명령을 판독할 수 있으며, 적어도 하나의 프로세서는 컴퓨터 프로그램을 실행하여 전자기기가 상술한 어느 실시예에 따른 방안을 수행하도록 한다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 지칭)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향 장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문은 이에 대해 한정하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 요구와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환 및 개선 등은 모두 본 출원의 보호 범위 내에 속하는 것으로 간주하여야 한다.

Claims (25)

  1. 스마트 백미러 상의 애플리케이션의 인터페이스 표시 정보를 획득하며, 상기 애플리케이션에는 소프트웨어 개발 키트(Software Development Kit: SDK)가 설치되어 있고, 상기 SDK에 역제어를 구현하기 위한 서비스 로직이 집적되어, 상기 애플리케이션이 상응한 동작을 수행하도록 제어하는 단계;
    상기 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 상기 인터페이스 표시 정보를 발송하는 단계;
    상기 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 상기 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 상기 사용자 조작 정보는 상기 적어도 하나의 외부 기기에 대한 상기 사용자의 조작을 나타내기 위한 것이고, 상기 적어도 하나의 외부 기기는 제1 외부 기기를 포함하는 단계;를 포함하고,
    상기 애플리케이션이 복수개가 존재하면, 상기 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 표시되고, 상기 스위칭 컨트롤은 상기 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션이 스위칭되도록 지시하고; 상기 사용자 조작 정보는 상기 제1 외부 기기의 현재 인터페이스 상에서의 상기 스위칭 컨트롤의 좌표 위치와 스위칭된 후의 애플리케이션의 식별자를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  2. 제1항에 있어서,
    상기 스마트 백미러가 상응한 조작을 수행하도록 제어하는 상기 단계는,
    상기 사용자 조작 정보를 기초로, 상기 스마트 백미러 상의 상기 애플리케이션이 대응되는 조작을 수행하도록 제어하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  3. 제2항에 있어서,
    상기 사용자 조작 정보를 기초로, 상기 스마트 백미러 상의 상기 애플리케이션이 대응되는 조작을 수행하도록 제어하는 상기 단계는,
    상기 애플리케이션의 인터페이스 레이아웃과 상기 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하되, 상기 트리거 이벤트는 상기 애플리케이션이 대응되는 조작을 수행하도록 지시하는 단계;
    상기 트리거 이벤트를 기초로, 상기 스마트 백미러 상의 상기 애플리케이션이 대응되는 조작을 수행하도록 제어하는 단계;를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  4. 제3항에 있어서,
    상기 사용자 조작 정보는 상기 사용자가 상기 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 포함하고;
    상기 애플리케이션의 인터페이스 레이아웃과 상기 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하는 상기 단계는,
    상기 사용자가 상기 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환하는 단계;
    상기 애플리케이션의 인터페이스 레이아웃, 및 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로, 상기 트리거 이벤트를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  5. 제4항에 있어서,
    상기 애플리케이션의 인터페이스 레이아웃, 및 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로, 상기 트리거 이벤트를 생성하는 상기 단계는,
    상기 애플리케이션의 인터페이스 레이아웃을 기초로, 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치 지점에 대응되는 조작 컨트롤을 확정하는 단계;
    상기 조작 컨트롤을 기초로, 상기 트리거 이벤트를 생성하는 단계;를 포함하는것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  6. 제4항에 있어서,
    상기 사용자 조작 정보는 상기 사용자의 조작 행위를 더 포함하고, 상기 애플리케이션의 인터페이스 레이아웃, 및 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 기초로, 상기 트리거 이벤트를 생성하는 상기 단계는,
    상기 애플리케이션의 인터페이스 레이아웃, 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치, 및 상기 사용자의 조작 행위를 기초로, 상기 트리거 이벤트를 생성하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자가 상기 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치로 전환하는 단계는,
    상기 사용자가 상기 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 상기 제1 외부 기기 상에 표시되는 상기 애플리케이션의 인터페이스의 크기를 기초로, 상기 사용자가 상기 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정하는 단계;
    상기 상대적 위치, 및 상기 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 크기를 기초로, 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정하는 단계;를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  8. 제7항에 있어서,
    상기 사용자가 상기 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정하는 상기 단계는,
    상기 사용자가 상기 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치, 및 상기 제1 외부 기기 상에 표시되는 상기 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 상기 사용자가 상기 제1 외부 기기 상에 표시되는 애플리케이션의 인터페이스 상에서 조작한 상대적 위치를 확정하는 단계;를 포함하고,
    상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정하는 상기 단계는,
    상기 상대적 위치, 및 상기 스마트 백미러 상에 표시되는 애플리케이션의 인터페이스의 좌표 위치와 크기를 기초로, 상기 스마트 백미러의 현재 인터페이스 상의 좌표 위치를 확정하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  9. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 애플리케이션이 복수개가 존재할 때, 상기 애플리케이션의 인터페이스 레이아웃과 상기 사용자 조작 정보를 기초로, 트리거 이벤트를 생성하는 상기 단계는,
    제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 확정하는 단계;
    상기 목표 애플리케이션의 인터페이스 레이아웃과 상기 사용자 조작 정보를 기초로, 상기 트리거 이벤트를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  10. 제9항에 있어서,
    제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션을 확정하는 상기 단계는,
    상기 스마트 백미러의 현재 인터페이스 상에 표시되는 애플리케이션을 상기 목표 애플리케이션으로 하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  11. 제9항에 있어서,
    상기 트리거 이벤트는 상기 목표 애플리케이션으로부터 상기 스위칭된 후의 애플리케이션으로 스위칭하도록 지시하며;
    상기 트리거 이벤트를 기초로, 상기 스마트 백미러 상의 상기 애플리케이션이 대응되는 조작을 수행하도록 제어하는 상기 단계는,
    상기 트리거 이벤트를 기초로, 상기 스마트 백미러 상의 상기 목표 애플리케이션이 상기 스위칭된 후의 애플리케이션으로 스위칭되도록 제어하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  12. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 스마트 백미러의 인터페이스 표시 정보를 획득하는 단계 전에,
    상기 애플리케이션의 스크린 프로젝션 프로세스를 구축하는 단계를 더 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  13. 제12항에 있어서,
    상기 스마트 백미러의 인터페이스 표시 정보를 획득하는 단계 전에,
    사용자에 의해 입력된 스크린 프로젝션 지시를 수신하는 단계를 더 포함하고;
    상기 애플리케이션의 인터페이스 표시 정보는 상기 애플리케이션의 스크린 프로젝션할 비디오를 녹화하는 것이고, 상기 스마트 백미러의 인터페이스 표시 정보를 획득하는 단계는,
    상기 스마트 백미러 상의 애플리케이션의 인터페이스를 녹화하여, 상기 스크린 프로젝션할 비디오를 획득하는 단계를 더 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  14. 제13항에 있어서,
    상기 스마트 백미러 상의 애플리케이션의 인터페이스를 녹화하는 상기 단계 전에,
    상기 애플리케이션의 상태가 스크린 프로젝션 상태임을 저장하는 단계를 더 포함하고;
    상기 스마트 백미러에 사용되는 제어 방법은,
    상기 애플리케이션이 스크린 프로젝션을 종료하면, 상기 애플리케이션의 스크린 프로젝션 상태를 종료 상태로 변경하고, 상기 애플리케이션의 스크린 프로젝션 프로세스를 종료하는 단계를 더 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  15. 스크린 프로젝션 제어 기기 상의 애플리케이션으로부터 제공되는 인터페이스 표시 정보를 수신하며, 상기 애플리케이션에는 소프트웨어 개발 키트 (Software Development Kit:SDK)가 설치되어 있고, 상기 SDK에 역제어를 구현하기 위한 서비스 로직이 집적되어, 상기 애플리케이션이 상응한 동작을 수행하도록 제어하는 단계;
    상기 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시하는 단계;
    제1 외부 기기의 현재 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하는 단계;
    상기 스크린 프로젝션 제어 기기로 상기 사용자 조작 정보를 발송하는 단계;를 포함하고,
    상기 애플리케이션이 복수개가 존재하면, 상기 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 표시되고, 상기 스위칭 컨트롤은 상기 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션이 스위칭되도록 지시하고; 상기 사용자 조작 정보는 상기 제1 외부 기기의 현재 인터페이스 상에서의 상기 스위칭 컨트롤의 좌표 위치와 스위칭된 후 의 애플리케이션의 식별자를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  16. 삭제
  17. 제15항에 있어서,
    제1 외부 기기의 현재 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하는 상기 단계는,
    상기 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치를 검출하여, 상기 사용자 조작 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  18. 제15항에 있어서,
    상기 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하는 상기 단계는,
    상기 사용자가 제1 외부 기기의 현재 인터페이스 상에서 조작한 좌표 위치와 조작 행위를 검출하여, 상기 사용자 조작 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  19. 삭제
  20. 제15항에 있어서,
    상기 스마트 백미러에 사용되는 제어 방법은,
    상기 스크린 프로젝션 제어 기기와 연결된 후, 상기 스크린 프로젝션 제어 기기로부터 제공되는 스크린 프로젝션할 비디오를 수신하고, 상기 스크린 프로젝션할 비디오는 상기 애플리케이션의 인터페이스를 녹화하여 획득한 비디오인 단계;
    상기 스크린 프로젝션할 비디오를 기초로, 상기 스마트 백미러 상의 애플리케이션의 인터페이스를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 방법.
  21. 스마트 백미러 상의 애플리케이션의 인터페이스 표시 정보를 획득하며, 상기 애플리케이션에는 소프트웨어 개발 키트 SDK가 설치되어 있고, 상기 SDK에 역제어를 구현하기 위한 서비스 로직이 집적되어, 상기 애플리케이션이 상응한 동작을 수행하도록 제어하는 처리모듈;
    상기 스마트 백미러와 통신 연결되는 적어도 하나의 외부 기기로 상기 인터페이스 표시 정보를 발송하기 위한 송수신 모듈;을 포함하고,
    상기 처리모듈은 또한 상기 적어도 하나의 외부 기기로부터 제공되는 사용자 조작 정보에 응답하여, 상기 스마트 백미러가 대응되는 조작을 수행하도록 제어하며, 상기 사용자 조작 정보는 상기 적어도 하나의 외부 기기에 대한 상기 사용자의 조작을 나타내기 위한 것이고, 상기 적어도 하나의 외부 기기는 제1 외부 기기를 포함하고,
    상기 애플리케이션이 복수개가 존재하면, 상기 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 표시되고, 상기 스위칭 컨트롤은 상기 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션이 스위칭되도록 지시하고; 상기 사용자 조작 정보는 상기 제1 외부 기기의 현재 인터페이스 상에서의 상기 스위칭 컨트롤의 좌표 위치와 스위칭된 후 의 애플리케이션의 식별자를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 장치.
  22. 스크린 프로젝션 제어 기기 상의 애플리케이션으로부터 제공되는 인터페이스 표시 정보를 수신하며, 상기 애플리케이션에는 소프트웨어 개발 키트 (Software Development Kit:SDK)가 설치되어 있고, 상기 SDK에 역제어를 구현하기 위한 서비스 로직이 집적되어, 상기 애플리케이션이 상응한 동작을 수행하도록 제어하는 송수신 모듈;
    상기 인터페이스 표시 정보를 기초로, 스마트 백미러 상에 스크린 프로젝션되는 인터페이스를 표시하기 위한 표시모듈;
    제1 외부 기기의 현재 인터페이스에 대한 사용자의 조작이 검출되면, 사용자 조작 정보를 생성하기 위한 처리모듈;을 포함하고,
    상기 송수신 모듈은 상기 스크린 프로젝션 제어 기기로 상기 사용자 조작 정보를 발송하고,
    상기 애플리케이션이 복수개가 존재하면, 상기 제1 외부 기기의 현재 인터페이스 상에 스위칭 컨트롤이 표시되고, 상기 스위칭 컨트롤은 상기 제1 외부 기기의 현재 인터페이스 상에 표시되는 목표 애플리케이션이 스위칭되도록 지시하고; 상기 사용자 조작 정보는 상기 제1 외부 기기의 현재 인터페이스 상에서의 상기 스위칭 컨트롤의 좌표 위치와 스위칭된 후 의 애플리케이션의 식별자를 포함하는 것을 특징으로 하는 스마트 백미러에 사용되는 제어 장치.
  23. 전자기기에 있어서,
    적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 및
    출력장치;를 포함하되,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 전자기기가 제1항 내지 제6항 중 어느 한 항에 따른 스마트 백미러에 사용되는 제어 방법을 수행할 수 있도록 하며, 상기 출력장치는 상기 전자기기의 인터페이스를 표시하기 위한 것인 것을 특징으로 하는 전자기기.
  24. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 스마트 백미러에 사용되는 제어 방법을 수행하도록 하는 것을 특징으로 하는 저장매체.
  25. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제6항 중 어느 한 항에 따른 스마트 백미러에 사용되는 제어 방법을 구현하는 컴퓨터 프로그램.

KR1020210041997A 2020-05-29 2021-03-31 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체 KR102501293B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010474596.4 2020-05-29
CN202010474596.4A CN111645521B (zh) 2020-05-29 2020-05-29 用于智能后视镜的控制方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
KR20210042862A KR20210042862A (ko) 2021-04-20
KR102501293B1 true KR102501293B1 (ko) 2023-02-16

Family

ID=72341537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041997A KR102501293B1 (ko) 2020-05-29 2021-03-31 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체

Country Status (3)

Country Link
JP (1) JP7230093B2 (ko)
KR (1) KR102501293B1 (ko)
CN (1) CN111645521B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379954A (zh) * 2020-11-16 2021-02-19 北京百度网讯科技有限公司 应用程序的数据处理方法、装置、设备及存储介质
CN113138737B (zh) * 2021-04-16 2023-11-03 阿波罗智联(北京)科技有限公司 投屏场景的显示控制方法、装置、设备、介质及程序产品
CN115941728A (zh) * 2021-05-26 2023-04-07 阿波罗智联(北京)科技有限公司 用于智能后视镜的时延估计方法、装置和电子设备
CN114153542A (zh) * 2021-11-30 2022-03-08 阿波罗智联(北京)科技有限公司 投屏方法、装置、电子设备及计算机可读存储介质
CN114228489A (zh) * 2021-12-20 2022-03-25 广州小鹏汽车科技有限公司 车辆功能信息显示的处理方法、装置及车辆
CN115550498B (zh) * 2022-08-03 2024-04-02 阿波罗智联(北京)科技有限公司 投屏方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014141954A1 (ja) 2013-03-13 2014-09-18 クラリオン株式会社 表示装置
US20140354881A1 (en) 2013-06-03 2014-12-04 Hon Hai Precision Industry Co., Ltd. Vehicle, driving assistance system and driving assistance device
CN104883588A (zh) * 2015-05-28 2015-09-02 广东好帮手电子科技股份有限公司 一种车载多屏互联系统及其实现方法
JP2015187787A (ja) * 2014-03-26 2015-10-29 船井電機株式会社 車載器、携帯端末、車載器システム
JP2018072030A (ja) * 2016-10-25 2018-05-10 クラリオン株式会社 車載装置、携帯端末特定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4837594B2 (ja) * 2007-02-16 2011-12-14 三菱電機株式会社 車載マルチメディア装置
JP2015219228A (ja) * 2014-05-21 2015-12-07 株式会社ナビタイムジャパン 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、および、端末装置
KR101648022B1 (ko) * 2015-01-09 2016-08-12 현대자동차주식회사 차량 및 차량의 제어방법
CN105915978A (zh) * 2015-12-14 2016-08-31 乐视致新电子科技（天津）有限公司 一种车载显示控制方法及其装置
CN205890710U (zh) * 2016-08-17 2017-01-18 北京高科中天技术股份有限公司 多功能车载智能后视镜系统
US20180222391A1 (en) * 2017-02-03 2018-08-09 Da Xiang CHEN Multi-function, Network Linked Smart Rearview Mirror
CN108447472B (zh) * 2017-02-16 2022-04-05 腾讯科技（深圳）有限公司 语音唤醒方法及装置
US10482801B2 (en) * 2017-03-22 2019-11-19 Solera Holdings, Inc. Start and stop methods for a vehicle smart mirror
US10596970B2 (en) * 2017-08-25 2020-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto-switch display intelligent rearview mirror system
CN108337667B (zh) * 2018-02-12 2020-12-01 武汉卡比特信息有限公司 手机与车载显示终端在投屏状态蓝牙配对的装置及方法
CN108501809A (zh) * 2018-03-26 2018-09-07 京东方科技集团股份有限公司 基于视线追踪的车载显示控制装置、显示系统及显示方法
US10338397B1 (en) * 2018-04-18 2019-07-02 Hyundai Mobis Co., Ltd. Vehicle head-up display device and control method thereof
CN110588346A (zh) * 2019-08-22 2019-12-20 上海赫千电子科技有限公司 一种应用于汽车的多屏互动系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014141954A1 (ja) 2013-03-13 2014-09-18 クラリオン株式会社 表示装置
US20140354881A1 (en) 2013-06-03 2014-12-04 Hon Hai Precision Industry Co., Ltd. Vehicle, driving assistance system and driving assistance device
JP2015187787A (ja) * 2014-03-26 2015-10-29 船井電機株式会社 車載器、携帯端末、車載器システム
CN104883588A (zh) * 2015-05-28 2015-09-02 广东好帮手电子科技股份有限公司 一种车载多屏互联系统及其实现方法
JP2018072030A (ja) * 2016-10-25 2018-05-10 クラリオン株式会社 車載装置、携帯端末特定方法

Also Published As

Publication number Publication date
JP7230093B2 (ja) 2023-02-28
KR20210042862A (ko) 2021-04-20
CN111645521B (zh) 2022-01-18
JP2021108187A (ja) 2021-07-29
CN111645521A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
KR102501293B1 (ko) 스마트 백미러에 사용되는 제어 방법, 장치, 전자기기 및 저장매체
CN111666056B (zh) 屏幕切换显示方法、装置、智能后视镜和可读存储介质
JP6559825B2 (ja) 表示装置、情報端末操作方法
KR101561155B1 (ko) 모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템
JP7269265B2 (ja) 映像フレームの伝送方法、装置、電子機器及び可読記憶媒体
US20150067550A1 (en) Dual screen system and method
CN104572322A (zh) 一种终端屏幕操作的方法
KR20080039642A (ko) 시각적 멀티태스킹 수행방법 및 이를 수행하기 위한이동통신단말기
JP2021101356A (ja) 機器インタラクション方法、装置、機器、システム及び媒体
CN111688580B (zh) 智能后视镜进行拾音的方法以及装置
JP7395962B2 (ja) 情報処理装置、更新制御方法、更新制御プログラム、及び情報処理システム
CN104572071A (zh) 一种终端
KR20210038461A (ko) 스크린 프로젝션 방법, 장치, 기기 및 저장 매체
US20070040801A1 (en) Method and apparatus for displaying movement of input device in on-screen display (OSD) area
KR20150025302A (ko) 외부 단말과의 연동을 실행하는 방법, 장치 및 기록매체
WO2020000975A1 (zh) 视频拍摄方法、客户端、终端及介质
KR20210038463A (ko) 차창 디스플레이 방법 및 장치
US7840721B2 (en) Devices with multiple functions, and methods for switching functions thereof
KR102227532B1 (ko) 클립 이동 제어를 위한 동영상 편집 ui 제어방법 및 장치
WO2013179636A1 (en) Touch-sensitive input device compatibility notification
CN111666011A (zh) 页面焦点显示方法及装置
CN110672112B (zh) 引导线切换方法、装置、设备和介质
KR102587048B1 (ko) 디스플레이 장치 및 그 제어 방법
CN114084162A (zh) 一种显示方法、装置、设备以及存储介质
CN117998128A (zh) 显示设备和显示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant