KR20210137107A - 낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트 - Google Patents

낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트 Download PDF

Info

Publication number
KR20210137107A
KR20210137107A KR1020217031891A KR20217031891A KR20210137107A KR 20210137107 A KR20210137107 A KR 20210137107A KR 1020217031891 A KR1020217031891 A KR 1020217031891A KR 20217031891 A KR20217031891 A KR 20217031891A KR 20210137107 A KR20210137107 A KR 20210137107A
Authority
KR
South Korea
Prior art keywords
application
operating system
mobile device
virtual operating
thin
Prior art date
Application number
KR1020217031891A
Other languages
English (en)
Inventor
루즈베 파라보드
에르선 카르탈
Original Assignee
투즈 테크놀로지스 게임베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 투즈 테크놀로지스 게임베하 filed Critical 투즈 테크놀로지스 게임베하
Publication of KR20210137107A publication Critical patent/KR20210137107A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45537Provision of facilities of other operating environments, e.g. WINE
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Abstract

감소된 컴퓨팅 능력을 갖는 디바이스를 본질적으로 동작시키는 가상 운영체제 애플리케이션(22)이 모바일 디바이스(16) 상에서 구동되는 시스템, 방법, 컴퓨터 프로그램 및 디바이스가 제공된다. 가상 운영체제는 추가 디바이스에 대한 애플리케이션(26A, 26B)의 구동을 허용하거나 모바일 디바이스 상에서 구동되는 다른 애플리케이션에 의해 제어될 추가 디바이스에 대한 프록시로서의 역할을 할 수 있다.

Description

낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트
본 출원은 일반적으로 비교적 낮은 컴퓨팅 능력을 갖는 디바이스의 동작에 관한 것이다.
많은 디바이스에는 콘텐츠를 디스플레이하는 디스플레이 및/또는 사용자가 입력하는 것을 허용하는 입력 디바이스가 구비된다. 그러한 입력 디바이스는 소위 터치스크린을 사용하여 디스플레이와 조합될 수 있다. 그러한 디바이스의 일부는 공간 또는 비용 제약으로 인해, 비교적 낮은 컴퓨팅 능력만이 이용 가능하다. 예를 들어, 디스플레이는 소위 스마트 글래스 내의 글래스로 통합될 수 있지만, 그러한 스마트 글래스에서의 공간 제약으로 인해 그리고 또한 중량 고려를 위해 그러한 스마트 글래스에 높은 컴퓨팅 능력을 구비하는 것은 어렵다. 그럼에도 불구하고, 예를 들어 낮은 컴퓨팅 능력을 갖는 그러한 디바이스를 통해 다양한 종류의 정보를 사용자에게 제공하는 것이 바람직하다. 낮은 컴퓨팅 능력을 갖는 그러한 디바이스는 또한 본원에서 씬 디바이스(thin device)로 지칭된다.
향상된 능력을 위해 비교적 소형 디바이스를 스마트폰 또는 태블릿과 같은 모바일 디바이스와 결합하는 몇 가지 접근법이 존재한다. 예를 들어, 스마트 워치에서, 애플리케이션 프로그램(본원에서 앱으로 지칭됨)은 스마트 워치 내에 설치되고, 대응하는 애플리케이션 프로그램은 모바일 디바이스 내에 설치되며, 앱은 서로 통신하여 능력을 스마트 워치에 제공하며, 예를 들어 액세스를 뮤직 또는 비디오와 같은 모바일 디바이스의 멀티미디어 파일에 제공하여, 모바일 디바이스 등으로부터의 호출을 전송한다.
그러나, 이러한 해결법은 대응하는 앱이 소형 디바이스 상에 설치되는 것을 필요로 하며, 이는 매우 낮은 컴퓨팅 능력을 갖는 디바이스에서 가능하지 않거나 그렇지 않으면 앱을 설치하는 것을 허용하지 않을 수 있다.
다른 종래의 접근법은 원격 디스플레이 기술을 사용하는 것이다. 이러한 경우에, 스마트폰 또는 태블릿과 같은 모바일 디바이스 상에 디스플레이된 콘텐츠는 낮은 컴퓨팅 능력을 갖는 디바이스에 본질적으로 미러링되고 또한 거기에 디스플레이된다. 예를 들어, 블루투스 또는 다른 무선 통신은 이러한 스크린 미러링을 위해 사용될 수 있다. 그러나, 이러한 기술은 또한 몇몇 단점을 갖는다. 예를 들어, 낮은 컴퓨팅 능력을 갖는 디바이스 및 모바일 디바이스는 통상 상이한 스크린 크기를 갖는다. 모바일 디바이스 상에 나타낸 콘텐츠는 통상 모바일 디바이스의 스크린을 위해 설계되고, 다른 디바이스 상에 동일한 콘텐츠를 디스플레이하는 것은 만족스럽지 못한 결과를 초래할 수 있다. 더욱이, 이러한 접근법은 낮은 컴퓨팅 능력을 갖는 디바이스와 본질적으로 독립적으로 모바일 디바이스를 동작시키는 것을 어렵게 할 수 있거나, 다시 말해, 이러한 해결법은 디바이스 상에서서로 다른 애플리케이션들을 사용하는 것을 어렵게 할 수 있다.
따라서, 일 목적은 그러한 씬 디바이스를 동작시키기 위한 개선된 해결법을 제공하는 것이다.
이러한 측면에서, 청구항 1에 정의된 바와 같은 시스템, 청구항 12에 정의된 바와 같은 방법, 청구항 18에 정의된 바와 같은 컴퓨터 프로그램, 청구항 20에 정의된 바와 같은 모바일 디바이스 및 청구항 21에 정의된 바와 같은 키트가 제공된다. 종속항들은 추가 구현예를 정의한다.
일 구현예에 따르면, 시스템이 제공되며, 시스템은,
운영체제 및 제1 인터페이스를 포함하는 모바일 디바이스,
디스플레이 및 제2 인터페이스를 포함하는 추가 디바이스를 포함하며, 모바일 디바이스는 모바일 디바이스의 운영체제 하에서 구동되는 가상 운영체제 애플리케이션을 더 포함하고, 가상 운영체제 애플리케이션은,
- 제1 인터페이스 및 제2 인터페이스를 통해 모바일 디바이스와 추가 디바이스 사이의 연결을 관리하고,
- 스크린 프레임을 추가 디바이스에 제공하여 추가 디바이스의 디스플레이 상에 디스플레이하고,
- 추가 디바이스의 입력을 수신 및 처리하고,
- 모바일 디바이스 상에 추가 디바이스에 대한 애플리케이션의 실행을 가능하게 하도록 구성된다.
모바일 디바이스 상에서 낮은 컴퓨팅 능력을 갖는 디바이스용 가상 운영체제를 구동함으로써, 기능성은 다른 애플리케이션을 사용하여 모바일 디바이스를 여전히 동작시킬 수 있으면서 낮은 컴퓨팅 능력을 갖는 디바이스에 제공될 수 있다. 이러한 방식으로, 낮은 컴퓨팅 능력을 갖는 디바이스에 맞춤화된 애플리케이션이 제공될 수 있다. 또한, 그러한 애플리케이션은 낮은 컴퓨팅 능력을 갖는 디바이스로부터의 입력(예를 들어 센서 입력) 그리고 모바일 디바이스, 예를 들어 GPS 센서와 같은 모바일 디바이스의 센서로부터의 입력(예를 들어 센서 입력) 둘 모두를 사용할 수 있다.
추가 디바이스는 모바일 디바이스보다 더 적은 컴퓨팅 능력을 가지며, 즉 위에 설명된 바와 같이 "씬 디바이스"일 수 있다.
일부 구현예에서, 추가 디바이스는 부가 애플리케이션의 설치 및 구동을 허용하지 않는다. 그러한 추가 디바이스에 대해, 애플리케이션은, 가상 운영체제의 범위 내에서 또는 가상 운영체제와 동시에 구동되지만 모바일 디바이스의 운영체제에 의해 제공될 수 있는 인터프로세스 통신 메커니즘을 사용하여 가상 운영체제와 통신하는 독립 애플리케이션으로서, 가상 운영체제 애플리케이션을 사용하여 모바일 디바이스 상에서 구동될 수 있다. 따라서, 가상 운영체제는는 모바일 디바이스 상의 추가 애플리케이션과 통신할 수 있다.
가상 운영체제는 또한 커맨드 및/또는 구성 정보를 추가 디바이스에 송신하도록 구성될 수 있어, 추가 디바이스는 모바일 디바이스에서 본질적으로 완전히 동작될 수 있다.
일부 구현예에서, 가상 운영체제 애플리케이션은 모바일 디바이스의 디바이스(구성요소)와 애플리케이션의 통신을 가능하게 하여, 이러한 디바이스가 애플리케이션에 의해 사용될 수 있다.
가상 운영체제 애플리케이션은 애플리케이션으로부터 스크린 콘텐츠를 수신하고 스크린에 기초하여 스크린 프레임을 추가 디바이스에 제공하도록 구성될 수 있다.
애플리케이션은 내비게이션 애플리케이션을 포함할 수 있다.
모바일 디바이스는 스마트폰 또는 태블릿 컴퓨터일 수 있다.
추가 디바이스는 스마트 글래스일 수 있다.
추가 구현예에 따르면, 방법이 제공되며, 방법은,
모바일 디바이스 상에서, 추가 디바이스에 대한 가상 운영체제 애플리케이션을 구동하는 단계를 포함하며, 가상 운영체제 애플리케이션은,
- 모바일 디바이스의 제1 인터페이스 및 추가 디바이스(10)의 제2 인터페이스(15)를 통해 모바일 디바이스와 추가 디바이스 사이의 연결을 관리하고,
- 스크린 프레임을 추가 디바이스에 제공하여 추가 디바이스의 디스플레이 상에 디스플레이하고 - 추가 디바이스로부터 입력을 수신 및 처리하고,
- 모바일 디바이스 상에 추가 디바이스에 대한 애플리케이션의 실행을 가능하게 한다.
가상 운영체제 애플리케이션은 모바일 디바이스의 디바이스(구성요소)와 애플리케이션의 통신을 가능하게 할 수 있다.
가상 운영체제는 커맨드 및/또는 구성 정보를 추가 디바이스에 송신할 수 있다.
가상 운영체제는 모바일 디바이스 상의 추가 애플리케이션과 통신할 수 있어, 이러한 추가 애플리케이션은 예를 들어 스크린을 추가 디바이스에 송신하거나 추가 디바이스로부터 가상 운영체제를 통해 입력을 수신할 수 있다.
가상 운영체제 애플리케이션은 애플리케이션으로부터 스크린 콘텐츠를 수신하고 스크린 콘텐츠에 기초하여 스크린 프레임을 추가 디바이스에 제공할 수 있다.
애플리케이션은 내비게이션 애플리케이션을 포함할 수 있다.
다른 구현예에 따르면, 컴퓨터 프로그램이 제공되며, 컴퓨터 프로그램은 프로세서 상에서 실행될 때 위에 설명된 바와 같이 방법이 실행되게 하는 프로그램 코드를 포함한다.
컴퓨터 프로그램울 포함하는 저장 매체, 특히 유형의 저장 매체가 또한 제공된다.
또한, 컴퓨터 프로그램을 저장한 모바일 디바이스가 제공된다.
다른 구현예에 따르면, 키트가 제공되며, 키트는,
위에 설명된 바와 같은 컴퓨터 프로그램 또는 저장 매체, 및
컴퓨터 프로그램의 가상 운영체제 애플리케이션을 사용하여 동작될 추가 디바이스를 포함한다.
그러한 키트에서, 사용자는 모바일 디바이스 상에 컴퓨터 프로그램을 설치함으로써 추가 디바이스를 동작시키기 위해 사용자의 모바일 디바이스에 권한을 줄 수 있다.
추가 디바이스는 스마트 글래스일 수 있다.
이하에, 더 철저한 이해를 제공하기 위해 구현예는 첨부 도면을 참조하여 설명될 것이다.
도 1은 일 구현예에 따른 시스템의 블록도이다.
도 2는 가상운영체제를 포함하는 일부 구현예의 운영체제구조를 예시하는 블록도이다.
도 3은 추가 구현예에 따른 시스템의 도해이다.
도 4는 일 구현예에 따른 방법을 예시하는 흐름도이다.
도 5는 특정 적용을 위한 일 구현예에 따른 시스템의 예시적 동작을 예시하는 도해이다.
이하에, 다양한 구현예가 상세히 설명될 것이다. 이러한 구현예는 예로서만 주어지고 제한적인 것으로 해석되지 않아야 한다는 점이 주목되어야 한다. 상이한 구현예로부터의 특징은 추가 구현예를 형성하기 위해 조합될 수 있다. 구현예 중 하나에 대해 설명되는 변화, 수정 또는 상세는 또한 다른 구현예에 적용될 수 있고 따라서 반복적으로 설명되지 않을 것이다.
구현예가 상세히 설명되기 전에, 이하에 사용되는 용어의 일부 정의가 주어질 것이다.
본원에 사용되는 바와 같은 모바일 디바이스는 사람이 지니고 다닐 수 있도록 설계되는 컴퓨팅 디바이스이다. 그 결과, 그러한 모바일 디바이스는 2 kg 아래, 통상 1 kg 이하의 중량, 및 50 cmㆍ50 cmㆍ2 cm보다 더 작은 치수, 통상 그 아래의 치수를 갖는다. 전형적 모바일 디바이스는 스마트폰 또는 태블릿이다. 많은 모바일 디바이스는 GPS 센서와 같은 다른 센서뿐만 아니라, 콘텐츠를 디스플레이하고 사용자 입력을 수신하기 위한 터치스크린을 갖는다. 모바일 디바이스 전형적으로 다양한 종류의 커스텀 애플리케이션(앱)을 구동하기에 충분한 컴퓨팅 능력을 갖는다. 구현예에서, 모바일 디바이스는 전형적으로 그러한 부가 애플리케이션의 설치를 허용하는 운영체제를 구동한다.
본원에서 씬 디바이스로 간단히 지칭되는, 낮은 컴퓨팅 능력을 갖는 디바이스는 모바일 디바이스보다 더 적은 컴퓨팅 능력을 갖는 디바이스이다. 종종, 씬 디바이스는 펌웨어만을 갖고, 커스텀 애플리케이션, 즉 디바이스를 동작시키는데 절대적으로 필요한 프로그램, 또는, 다시 말해 디바이스의 코어 기능성과 관련되지 않은 프로그램의 일부가 아닌 부가 애플리케이션의 설치를 허용하지 않는다. 그러한 씬 디바이스에 사용되는 프로세서는 모바일 디바이스에 사용되는 프로세서보다 덜 강력하고 예를 들어 기본 입력 또는 출력을 취급하기 위한 비교적 간단한 마이크로컨트롤러 또는 심지어 간단한 논리 회로일 수 있다.
구현예에서, 씬 디바이스용 운영체제는 애플리케이션으로서 모바일 디바이스 상에서 구동된다. 이러한 운영체제는 또한 그것이 운영체제 기능을 제공하는 디바이스(씬 디바이스) 상에서 구동되는 것이 아니라, 다른 디바이스(모바일 디바이스) 상에서 구동되므로, "가상 운영체제 애플리케이션"으로 지칭될 것이다. 보다 상세히 설명되는 바와 같이, 이것은 씬 디바이스에 대한 부가 애플리케이션의 설치 및/또는 애플리케이션에서 씬 디바이스와 적어도 부분적으로 독립적인 모바일 디바이스의 유연한 사용을 허용한다.
도 1은 일 구현예에 따른 시스템을 도시하고, 도 2는 도 1의 시스템의 운영체제 구조를 더 예시하기 위한 논리도를 도시한다.
도 1의 시스템은 씬 디바이스(10) 및 모바일 디바이스(16)를 포함한다. 씬 디바이스(10)는 디스플레이(11), 하나 이상의 입력 디바이스(들)(12) 및 메모리(14)에 결합된 프로세서(13)를 포함한다. 프로세서는 본원에 사용되는 바와 같이, 단일 프로세서로 제한되는 것이 아니라, 또한 복수의 프로세서가 제공될 가능성을 포함할 수 있다.
디스플레이는 본원에 사용되는 바와 같이, 콘텐츠를 디스플레이하기 위해 사용될 수 있는 임의의 디바이스이다. 예를 들어, 초기에 언급된 스마트 글래스의 경우에, 디스플레이는 글래스의 사용자가 볼 수 있도록 콘텐츠를 투사하는 하나의 종류의 투사 시스템을 포함할 수 있거나, TFT 디스플레이 또는 액정 디스플레이와 같은 보다 종래의 디스플레이를 포함할 수 있다. 입력 디바이스는 사용자 입력을 허용할 수 있는 임의의 디바이스일 수 있다. 일부 구현예에서, 입력 디바이스는 소위 터치스크린으로서 디스플레이(11)를 제공함으로써 구현될 수 있다. 입력 디바이스의 다른 예는 씬 디바이스(10)를 동작시키는 사람의 제스처를 감지하기 위한 카메라 센서 또는 사람으로부터 음성 커맨드를 수신하기 위한 마이크로폰을 포함한다. 메모리(14)는 씬 디바이스(10)를 동작시키는데 필요한 프로세서(13)을 위한 명령어를 저장한다. 일부 구현예에서, 씬 디바이스(10)는 메모리(14) 내에 또는 씬 디바이스(10)의 다른 곳에 커스텀 애플리케이션의 설치를 허용하지 않는다.
씬 디바이스(10)는 모바일 디바이스(16)와 통신하기 위해 인터페이스(15)를 더 포함한다. 이러한 통신을 위해, 모바일 디바이스(16)는 대응하는 인터페이스(17)를 포함한다. 도 1의 구현예에서, 인터페이스(15, 17)는 무선 인터페이스이다. 적절한 무선 인터페이스에 대한 일 예는 블루투스 인터페이스이다. 그러나, 다른 종류의 무선 인터페이스가 또한 사용될 수 있다. 그러한 인터페이스는 통상 스마트폰 또는 태블릿과 같은 상용모바일 디바이스에 존재한다. 도시된 디바이스와 별도로, 씬 디바이스(10)는 다른 구성요소, 예를 들어 센서를 포함할 수 있다.
모바일 디바이스(16)는 프로세서(18), 하나 이상의 다른 디바이스(들)(19) 및 메모리(110)를 포함한다.
다른 디바이스(19)는 센서, 예를 들어 GPS 센서, 라우드스피커, 마이크로폰, 디스플레이, 터치스크린, 버튼 등과 같은, 모바일 디바이스, 예를 들어 스마트폰 또는 태블릿에 종래에 사용된 임의의 디바이스를 포함할 수 있다. 메모리(110)는 플래시 메모리와 같은 기록 가능 메모리를 포함하며, 여기에 커스텀 애플리케이션이 설치될 수 있다. 도 1의 시스템에서, 이러한 커스텀 애플리케이션 중 하나는 운영체제를 씬 디바이스(10)에 본질적으로 제공하는 가상 운영체제 애플리케이션이다. 이러한 개념은 이제 도 2를 더 참조하여 설명될 것이다.
씬 디바이스(10)의 측면 상에, 대응하는 "씬 펌웨어"(20)가 제공된다. 씬 펌웨어는 씬 디바이스(10)의 동작에 필요한 씬 디바이스(10) 내의 다양한 기능을 제공하기 위해 본질적으로 제한되는 씬 디바이스(10) 상의 펌웨어이다. 더욱이, 모바일 디바이스(16)에서, 가상 운영체제 애플리케이션(22)은 모바일 디바이스의 통상 운영체제(OS)(21) 하에 설치되어 구동된다. 씬 펌웨어(20)는 다양한 기능성을 씬 디바이스(10)에 제공하기 위해 이러한 가상 운영체제 애플리케이션(22)과 상호작용한다.
씬 펌웨어(20)는 씬 디바이스를 모바일 디바이스에 페어링하고 언페어링하는 기능을 가지며, 즉 도 1의 인터페이스(15, 17)를 사용하여 무선 연결을 설정하거나 종료하는 기능을 갖는다. 특히 블루투스통신 또는 다른 무선 애플리케이션을 위한 페어링은 2개의 디바이스가 처음으로 연결되는 프로세스이다.
더욱이, 씬 펌웨어(20)는 모바일 디바이스(16) 상에서 구동되는 가상 운영체제 애플리케이션(22)에 연결하고 이 애플리케이션으로부터 연결해제하는 기능을 갖는다. 그 다음, 씬 펌웨어(20)는 디스플레이(11) 상에 디스플레이되도록 가상 운영체제 애플리케이션(22)으로부터 스크린 프레임을 수신하고 입력 디바이스(12)로부터의 사용자 입력 또는 센서 데이터와 같은 다른 데이터를 가상 운영체제 애플리케이션(22)에 송신한다. 일부 구현예에서, 요청 시에 씬 펌웨어(20)는 또한 배터리 상태와 같은 씬 디바이스(10)의 디바이스 상태를 가상 운영체제 애플리케이션(22)에 송신할 수 있다.
따라서, 씬 펌웨어(20)는 가상 운영체제 애플리케이션(22)에 입력(사용자 입력 및/또는 다른 센서 입력)을 송신하고, 가상 운영체제 애플리케이션(22)으로부터 디스플레이될 스크린 프레임을 수신한다.
가상 운영체제 애플리케이션(22)은 스크린 프레임을 씬 펌웨어(20)에 제공하고 씬 펌웨어(20)로부터 입력을 수신하기 위한 원격 디스플레이 및 입력/출력 핸들러(23)를 포함한다. 또한, 원격 디스플레이 및 입력/출력 핸들러(23)를 통해, 커맨드 및/또는 구성 정보는 씬 펌웨어(20)에 송신될 수 있다. 예시적 커맨드는 스크린 온/오프 커맨드, 오디오 캡처 온/오프 커맨드, 분리 커맨드 등을 포함할 수 있다. 예시적 구성은 디스플레이 턴오프 시간 임계치, 디스플레이 밝기 등을 포함할 수 있다.
입력 및 출력은, 하나의 송신 방향으로(씬 펌웨어(20)로) 스크린 콘텐츠를 원격 디스플레이 및 입력/출력 핸들러(23)를 통해 씬 펌웨어(20)에 송신될 스크린 프레임 포맷으로 변환하고 다른 송신 방향으로(씬 펌웨어(20)로부터) 원격 디스플레이 및 입력/출력 핸들러(23)로부터 입력을 수신하고 그것을 애플리케이션 또는 운영체제 부분과 같은 추가 구성요소에 이용 가능하게 하는 콘텐츠 제공자 인터페이스 유닛(24)에 의해 추가로 처리된다. 익스텐션 매니저(25)는 가상 운영체제 "상에서" 구동되는 미니 앱의 설치/구성/제거를 관리하는 역할을 하며, 그 중 2개의 애플리케이션(26A, 26B)(본원에서 미니 앱으로 지칭됨)이 도시되고, 또한 예를 들어 모바일 디바이스(16)로부터의 센서 입력을 미니 앱(26A, 26B)에 제공하기 위해 모바일 디바이스(16)의 다른 디바이스(예를 들어 다른 디바이스(19))와 통신할 수 있다. 원격 디스플레이 및 입력/출력 핸들러(23), 입력/출력 추상화 구성요소(24) 및 익스텐션 매니저(25)는 가상 운영체제 애플리케이션(22)의 개별적 구성요소로서 표현되지만, 이것은 단지 편의를 위한 것이고 가상 운영체제 애플리케이션(22)에 의해 제공되는 일부 기능성의 더 좋은 이해를 제공하기 위한 것이며, 그것은 개별적 구성요소로서 구현될 필요가 없다는 점이 주목되어야 한다.
미니 앱(26A, 26B)은 씬 디바이스(10)가 부가 기능성을 씬 디바이스(10)에 제공하도록 설계된 애플리케이션이다. 그러한 미니 앱에 대한 일 예는 씬 디바이스(10)의 디스플레이(11)를 사용하여 내비게이션을 허용하는 내비게이션 앱, 또는 비디오 플레이어 애플리케이션과 같은, 씬 디바이스 상에서 콘텐츠를 제공하기 위한 임의의 다른 애플리케이션이다. 미니 앱(26A, 26B)은 일반적으로 기본 가상 운영체제 애플리케이션(22)에 추가적으로 설치되는 애플리케이션이고 예를 들어 가상 운영체제 애플리케이션(22)과 다른 벤더에 의해 제공될 수 있다. 다시 말해, 익스텐션 매니저(25)는 가상 운영체제 내에 미니 앱의 설치/구성/제거를 가능하게 하고, 콘텐츠 제공자 인터페이스 유닛(24)은 인터페이스를 모바일 운영체제(21) 상의 미니 앱(26A, 26B) 및 다른 애플리케이션(28)에 제공하여, 그들이 씬 펌웨어(20)로부터 또는 모바일 디바이스(16)의 다른 디바이스(19)로부터의 입력에 액세스하는 것을 허용하고 그들이 씬 디바이스(10)의 디스플레이(11) 상에 디스플레이된 콘텐츠를 수정하는 것을 허용한다.
더욱이, 가상 모바일 운영체제 애플리케이션(22)은 모바일 디바이스 운영체제(21) 하에 모바일 디바이스 상에 설치된 추가 애플리케이션(28)(예를 들어, 서드파티 애플리케이션)과 통신할 수 있다. 추가 애플리케이션(28)은 모바일 디바이스 운영체제(21)에 의해 제공되는 통신 인터페이스(27)를 사용할 수 있는 모바일 디바이스 상에서 구동되는 독립적으로 개발된 모바일 애플리케이션이다. 통신 인터페이스(27)는 일반적으로 모바일 디바이스 운영체제(21) 하에 애플리케이션들 사이의 통신을 수행한다. 그러한 통신 인터페이스는 통상 모바일 디바이스의 운영체제에 의해 제공된다. 통신 인터페이스(27)을 사용하여 가상 모바일 운영체제 애플리케이션(22)은 추가 애플리케이션(28)과 통신할 수 있다. 이러한 방식으로, 추가 애플리케이션(28)은 도 1의 인터페이스(17)를 사용하여 씬 디바이스에 직접 연결할 필요 없이 (필요할 때) 씬 디바이스로부터 센서/사용자 데이터를 수신하고 스크린 콘텐츠를 씬 디바이스에 송신할 수 있지만, 오직 가상 모바일 운영체제 애플리케이션(22)과 직접 통신한다.
추가 애플리케이션(28)은 전형적으로 그 자체의 독립적 사용자 인터페이스 및 비즈니스 로직을 갖지만 위에 설명된 방식에서 또한 콘텐츠를 씬 디바이스에 송신하고 씬 디바이스로부터 입력 데이터를 수신함으로써 그의 사용자 상호작용 모델을 확장할 수 있다. 그러한 추가 애플리케이션(28)의 예는 스포츠 활동 앱(예를 들어 씬 디바이스 상에 스포츠 관련 정보를 나타내고 씬 디바이스로부터 모션 데이터를 수신할 수 있음), 가상 운영체제과 독립적으로 개발된 내비게이션 앱(그러나, 내비게이션 미니 앱과 유사한 시나리오를 제공함), 소셜 네트워킹 및 메시지 앱 등을 포함한다.
일부 구현예에서, 씬 디바이스(10)는 키트 내의 소프트웨어로서 가상 운영체제 애플리케이션(22)과 함께(저장 매체 상에 또는 다운로드를 위해) 제공될 수 있어, 사용자는 씬 디바이스(10)를 동작시키기 위해 사용자의 모바일 디바이스(예를 들어 스마트폰, 태블릿) 상에 가상 운영체제 애플리케이션을 설치할 수 있다.
도 3은 씬 디바이스 및 모바일 디바이스에 대한 일 예를 나타내기 위해 예시적 시스템을 예시한다. 도 3의 예시적 시스템에서, 씬 디바이스는 스마트 글래스(30)로서 구현되며, 디스플레이 유닛(31A, 31B)은 스마트 글래스(30)를 착용하는 사람에게 콘텐츠를 나타내기 위해 글래스에 내장된다. 모바일 디바이스는 스마트폰 또는 태블릿(32)으로서 구현된다.
도 4는 일 구현예에 따른 방법을 예시하는 흐름도이며, 이는 가상 운영체제 애플리케이션의 동작을 예시한다.
도 4의 방법이 일련의 단계로서 예시되지만, 단계가 도시되는 순서는 제한적인 것으로 해석되지 않아야 한다는 점이 주목되어야 한다. 특히, 일부 단계는 연속적으로 수행될 수 있다.
40에서, 방법은 모바일 디바이스에서의 씬 디바이스로부터, 예를 들어 사용자 입력을 검출하는 씬 디바이스의 센서로부터 입력을 수신하는 단계를 포함한다. 41에서, 입력은 가상 운영체제(예를 들어, 도 2의 22)을 통해, 선택적으로 모바일 디바이스의 센서와 같은 모바일 디바이스의 가상 운영체제 애플리케이션 및/또는 디바이스 내에 설치된 미니 앱을 사용하여 처리된다. 42에서, 방법은 스크린 프레임을 씬 디바이스에 송신하여 씬 디바이스 상에 디스플레이하는 단계를 포함한다. 부가적으로, 도 2를 참조하여 설명되는 바와 같이, 커맨드 또는 구성 정보는 씬 디바이스에 송신될 수 있다.
가상 운영체제 애플리케이션 및 미니 앱의 예시적 동작은 이제 도 5를 참조하여 설명될 것이다. 도 5에서, 사용자가 사용자의 모바일 디바이스 상에 가상 운영체제를 설치했고 씬 디바이스, 예를 들어 도 3의 스마트 글래스(30)를 갖는 것으로 가정되며, 이는 모바일 디바이스에 페어링되어 있다.
또한, 사용자가 모바일 디바이스의 가상 운영체제 애플리케이션 상에 내비게이션 미니 앱을 설치했던 것으로 가정된다.
도 5는 씬 디바이스가 가상 운영체제 애플리케이션 및 그 위에 설치된 내비게이션 미니 앱을 사용하여 어떻게 동작될 수 있는지의 예시적타임라인을 상단으로부터 하단으로 도시한다.
우선, 50에서, 사용자는 모바일 디바이스 상의 가상 운영체제 애플리케이션을 연다(실행한다). 그 다음, 가상 운영체제 애플리케이션은 51에서 시작하고 52에서 씬 디바이스를 검색하며. 이어서, 통신은 예를 들어 핸드쉐이크 절차(53)를 사용하여 개시되고, 또한 홈 스크린으로 지칭되는 시작 스크린 프레임은 가상 운영체제 애플리케이션으로부터 씬 디바이스로 송신되어 54에서 디스플레이된다. 그 다음, 55에서, 사용자는 모바일 디바이스 상의 가상 운영체제 하에서 구동되는 내비게이션 미니 앱을 연다. 56에서 내비게이션 미니 앱의 시작 절차 및 초기화 후에, 미니 앱의 시작 스크린은 57에서 렌더링되고 스크린 프레임으로서 씬 디바이스에 전송되어 58에서 디스플레이된다.
그 다음, 59에서, 사용자는 원하는 목적지에 진입한다. 일부 구현예에서, 이것은 모바일 디바이스의 터치스크린과 같은 입력 디바이스를 사용하여 행해질 수 있다. 다른 구현예에서, 이것은 목적지가 음성을 통해 입력되는 마이크로폰과 같은 씬 디바이스의 일부 입력디바이스를 사용하여 수행될 수 있다. 그 다음, 내비게이션 미니 앱은 예를 들어 510에서 모바일 디바이스의 GPS 센서를 사용하여, 모바일 디바이스로부터 현재 위치를 요청하고 511에서 위치 업데이트를 수신한다. 번호(512)는 이러한 업데이트가 반복적으로 수행될 수 있다는 것을 표시한다. 530, 531에 표시된 바와 같이, 부가적으로 씬 디바이스의 센서(예를 들어, 배향 센서)로부터의 센서 데이터의 업데이트는 또한 내비게이션 미니 앱에 의해 요청될 수 있다.
그 다음, 514에서, 내비게이션 미니 앱은 확인 스크린을 렌더링하며, 이는 515에서 씬 디바이스 상에 디스플레이될 스크린 프레임으로서 씬 디바이스에 송신된다.
그 다음, 516에서, 사용자는 내비게이션을 시작한다. 도 5의 구현예에서, 이것은 씬 디바이스 상의 버튼을 누름으로써 행해진다. 다른 구현예에서, 이것은 음성 커맨드와 같은 씬 디바이스 상의 다른 액션 또는 또한 모바일 디바이스의 입력 디바이스를 사용하는 액션에 의해 행해질 수 있다. 그 다음, 517에서, 씬 디바이스는 가상 운영체제 애플리케이션이 518에서 내비게이션 미니 앱에 제공하는, 버튼이 눌려진 것을 가상 운영체제 애플리케이션에 보고한다. 532, 533에 표시된 바와 같이, 내비게이션 미니 앱은 또한 씬 디바이스로부터 센서 업데이트(예를 들어, 배향 센서)를 수신할 수 있다. 그 다음, 519에서, 내비게이션 미니 앱은 제1 단계(어디로 갈지 또는 주행할지의 제1 명령)를 계산하고, 520에서 대응하는 스크린을 렌더링하며, 이는 521에서 디스플레이하기 위해 씬 디바이스에 제공된다. 내비게이션은 사용자가 이동하는 루프(533)에서 계속하며, 523에서 위치가 업데이트되고, 524에서 다음 단계는 내비게이션 미니 앱에 의해 계산되고, 대응하는 스크린은 525에서 렌더링되며, 이는 송신되어 526에서 씬 디바이스 상에 디스플레이된다. 524에서 다음 단계를 계산하기 전에, 일부 구현에서, 내비게이션 미니 앱은 또한 534, 535에 나타낸 바와 같이, 씬 디바이스로부터 센서 업데이트(예를 들어, 배향 센서)를 수신할 수 있다.
내비게이션이 완료될 때, 527의 일부 지점에서, 사용자는 내비게이션 미니 앱을 종결하며, 그 다음 528에서 종결한다. 이에 후속하여, 홈 스크린은 529에서 디스플레이하기 위해 씬 디바이스에 송신되는데, 이는 54에서 디스플레이되도록 송신된 홈 스크린에 대응한다.
도 5의 흐름은 가상 운영체제 애플리케이션을 갖는 모바일 디바이스 및 그곳에 설치된 미니 앱 및 씬 디바이스 사이의 가능한 통신을 예시하기 위한 일 예일 뿐이고, 대응하는 통신은 또한 다른 종류의 미니 앱에 대해 수행될 수 있다는 점이 주목되어야 한다.

Claims (22)

  1. 운영체제(21) 및 제1 인터페이스(17)를 포함하는 모바일 디바이스(16),
    디스플레이(11) 및 제2 인터페이스(15)를 포함하는 추가 디바이스(10)를 포함하는 시스템으로,
    상기 모바일 디바이스는 상기 모바일 디바이스의 운영체제(21) 하에서 구동되는 가상 운영체제 애플리케이션(22)을 더 포함하고,
    상기 가상 운영체제 애플리케이션(22)은,
    - 상기 제1 인터페이스(17) 및 상기 제2 인터페이스(15)를 통해 상기 모바일 디바이스(16)와 상기 추가 디바이스(10) 사이의 연결(connectioin)을 관리하고,
    - 상기 추가 디바이스의 디스플레이(11) 상에 디스플레이하도록, 스크린 프레임을 상기 추가 디바이스(10)에 제공하며,
    - 상기 추가 디바이스(10)의 입력을 수신 및 처리하고,
    - 상기 모바일 디바이스 상에서 상기 추가 디바이스(10)용 애플리케이션(26A, 26B)의 실행(execution)을 가능하게 하도록 설정된 시스템.
  2. 제1항에 있어서, 상기 추가 디바이스(10)는 상기 모바일 디바이스(16)보다 더 적은 컴퓨팅 능력(power)을 갖는, 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 추가 디바이스(10)는 부가 애플리케이션의 설치 및 구동을 허용하지 않는, 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 모바일 디바이스의 디바이스(19)와 상기 애플리케이션(26A, 26B)의 통신을 가능하게 하는, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 애플리케이션(26A, 26B)으로부터 스크린 콘텐츠를 수신하고 상기 스크린 콘텐츠에 기초하여 상기 스크린 프레임을 상기 추가 디바이스(10)에 제공하도록 구성되는, 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 애플리케이션(26A, 26B)은 내비게이션 애플리케이션을 포함하는, 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 모바일 디바이스(16)는 스마트폰 또는 태블릿 컴퓨터인, 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 추가 디바이스(10)는 스마트 글래스(30)인, 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 명령 및/또는 구성 정보를 상기 추가 디바이스(10)에 송신하도록 구성되는, 시스템.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 모바일 디바이스(16) 상의 추가 애플리케이션(28)과 통신하도록 구성되는, 시스템.
  11. 제10항에 있어서, 상기 추가 애플리케이션(28)은 상기 가상 운영체제 애플리케이션과 독립적으로 상기 모바일 디바이스(16)의 운영체제 하에서 구동되는, 시스템.
  12. 모바일 디바이스 상에서, 추가 디바이스용 가상 운영체제 애플리케이션(22)을 구동하는 단계를 포함하는 방법으로,
    상기 가상 운영체제 애플리케이션(22)은,
    - 상기 모바일 디바이스(16)의 제1 인터페이스(17) 및 상기 추가 디바이스(10)의 제2 인터페이스(15)를 통해 상기 모바일 디바이스(16)와 상기 추가 디바이스(10) 사이의 연결을 관리하는 단계,
    - 상기 추가 디바이스의 디스플레이(11) 상에 디스플레이하도록 스크린 프레임을 상기 추가 디바이스(10)에 제공하는 단계,
    - 상기 추가 디바이스(10)로부터 입력을 수신 및 처리하는 단계,
    - 상기 모바일 디바이스(16) 상에서 상기 추가 디바이스(10)에 대한 애플리케이션(26A, 26B)의 실행을 가능하게 하는단계를 포함하는, 방법.
  13. 제12항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 모바일 디바이스의 디바이스(19)와 상기 애플리케이션(26A, 26B)의 통신을 가능하게 하는, 방법.
  14. 제12항 또는 제13항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 애플리케이션(26A, 26B)으로부터 스크린 콘텐츠를 수신하고 상기 스크린 콘텐츠에 기초하여 스크린 프레임을 상기 추가 디바이스(10)에 제공하는, 방법.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서, 상기 애플리케이션(26A, 26B)은 내비게이션 애플리케이션을 포함하는, 방법.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 명령 및/또는 구성 정보를 상기 추가 디바이스(10)에 송신하는, 방법.
  17. 제12항 내지 제16항 중 어느 한 항에 있어서, 상기 가상 운영체제 애플리케이션(22)은 상기 모바일 디바이스(16) 상의 추가 애플리케이션(28)과 통신하는, 방법.
  18. 프로세서에서 실행될 때, 제12항 내지 제17항 중 어느 하나의 방법이 실행되게 하는 프로그램 코드를 포함하는, 컴퓨터 프로그램.
  19. 제18항의 컴퓨터 프로그램을 포함하는, 저장 매체.
  20. 제18항의 컴퓨터 프로그램이 저장된, 모바일 디바이스(16).
  21. 다음을 포함하는 키트:
    제18항의 컴퓨터 프로그램 또는 제19항의 저장 매체, 및
    상기 컴퓨터 프로그램의 가상 운영체제 애플리케이션(22)을 사용하여 동작될 추가 디바이스(10).
  22. 제21항에 있어서, 상기 추가 디바이스(10)는 스마트 글래스인, 키트.

KR1020217031891A 2019-03-12 2020-03-10 낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트 KR20210137107A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019106281.0A DE102019106281A1 (de) 2019-03-12 2019-03-12 System, Verfahren, Computerprogramm, mobile Vorrichtung und Kit zum Betreiben einer Vorrichtung mit niedriger Rechenleistung
DE102019106281.0 2019-03-12
PCT/EP2020/056378 WO2020182825A1 (en) 2019-03-12 2020-03-10 System, method, computer program, mobile device and kit for operating a device with low computing power

Publications (1)

Publication Number Publication Date
KR20210137107A true KR20210137107A (ko) 2021-11-17

Family

ID=69804885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217031891A KR20210137107A (ko) 2019-03-12 2020-03-10 낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트

Country Status (7)

Country Link
US (1) US20220179448A1 (ko)
EP (1) EP3938863A1 (ko)
JP (1) JP2022522658A (ko)
KR (1) KR20210137107A (ko)
CN (1) CN113632041A (ko)
DE (1) DE102019106281A1 (ko)
WO (1) WO2020182825A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200906A1 (de) 2022-01-27 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium
US20240069843A1 (en) * 2022-08-29 2024-02-29 Piotr Gurgul Extending user interfaces of mobile apps to ar eyewear

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574709B2 (en) * 2004-04-30 2009-08-11 Microsoft Corporation VEX-virtual extension framework
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
KR101478619B1 (ko) * 2008-02-27 2015-01-06 삼성전자주식회사 가상화 기술을 이용한 데이터 입출력 방법 및 장치
US9367331B2 (en) * 2009-07-20 2016-06-14 Google Technology Holdings LLC Multi-environment operating system
JP5681850B2 (ja) * 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド(香港) ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
US8589952B2 (en) * 2010-06-30 2013-11-19 Palm, Inc. Dual operating system operation and configuration
CN101916132A (zh) * 2010-08-31 2010-12-15 福建捷联电子有限公司 一种具有音视频独立播放功能的计算机显示器
EP2941767A4 (en) * 2013-01-04 2016-08-31 Vuzix Corp PORTABLE AND PORTABLE INTERACTIVE INTELLIGENT DEVICES
JP2016126687A (ja) * 2015-01-08 2016-07-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US10326822B2 (en) * 2015-12-03 2019-06-18 Google Llc Methods, systems and media for presenting a virtual operating system on a display device
CA3062541C (en) * 2017-05-05 2022-01-11 Unity IPR ApS Contextual applications in a mixed reality environment

Also Published As

Publication number Publication date
DE102019106281A1 (de) 2020-09-17
JP2022522658A (ja) 2022-04-20
WO2020182825A1 (en) 2020-09-17
EP3938863A1 (en) 2022-01-19
CN113632041A (zh) 2021-11-09
US20220179448A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US20220188067A1 (en) Electronic device for controlling audio output and operation method thereof
CN111935379B (zh) 电子装置
US10853979B2 (en) Electronic device and method for displaying screen thereof
US10963211B2 (en) Electronic device and method for controlling audio path thereof
CN108702559B (zh) 耳朵可佩戴类型的无线设备和支持其的系统
CN105426141B (zh) 信息处理方法及支持其的电子设备
US20210223927A1 (en) Electronic device and method for displaying application used therein
WO2020233511A1 (zh) 一种应用启动方法、装置、计算机设备以及存储介质
CN110264935B (zh) 显示器驱动方法、显示器驱动集成电路及电子设备
KR102412283B1 (ko) 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR102187255B1 (ko) 전자 장치의 디스플레이 방법 및 그 전자 장치
KR102277460B1 (ko) 화면을 공유하기 위한 방법 및 그 전자 장치
KR20170096408A (ko) 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
KR20170102634A (ko) 전자 장치와 전자 장치의 영상 디스플레이 및 전송 방법
KR102540111B1 (ko) 전자 장치 및 전자 장치의 동작 방법
US10810927B2 (en) Electronic device and method for controlling display in electronic device
CN107800865B (zh) 电子设备和在低功率状态下显示时间信息的方法
EP3282644B1 (en) Timing method and device
US20210282075A1 (en) Scan method in near-field wireless communication network and electronic device for implementing same
CN108475181B (zh) 电子设备和用于操作电子设备的方法
KR20210137107A (ko) 낮은 컴퓨팅 능력을 갖는 디바이스를 동작시키기 위한 시스템, 방법, 컴퓨터 프로그램, 모바일 디바이스 및 키트
KR102591814B1 (ko) 전자 장치의 음향 신호 처리 방법 및 그 전자 장치
KR20180109614A (ko) 알림을 표시하는 전자 장치 및 그 동작 방법
KR20150028170A (ko) 전자장치 및 전자장치의 사용자 입력 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal