KR20170047313A - 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 - Google Patents

원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 Download PDF

Info

Publication number
KR20170047313A
KR20170047313A KR1020177007992A KR20177007992A KR20170047313A KR 20170047313 A KR20170047313 A KR 20170047313A KR 1020177007992 A KR1020177007992 A KR 1020177007992A KR 20177007992 A KR20177007992 A KR 20177007992A KR 20170047313 A KR20170047313 A KR 20170047313A
Authority
KR
South Korea
Prior art keywords
screen
terminal
display
maintenance
maintenance terminal
Prior art date
Application number
KR1020177007992A
Other languages
English (en)
Other versions
KR101919723B1 (ko
Inventor
노리히로 쵸토쿠
아키히코 와타나베
마사후미 오자와
준 이노우에
진 가와사키
고조 다니가와
Original Assignee
미쓰비시 덴키 빌딩 테크노 서비스 가부시키 가이샤
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시 덴키 빌딩 테크노 서비스 가부시키 가이샤, 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시 덴키 빌딩 테크노 서비스 가부시키 가이샤
Publication of KR20170047313A publication Critical patent/KR20170047313A/ko
Application granted granted Critical
Publication of KR101919723B1 publication Critical patent/KR101919723B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H04L67/2823—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

조작 단말로부터 보수용 단말을 원격 조작하는 경우에 있어서, 조작 대상의 보수용 앱 화면에 대한 시인성 및 조작성을 향상시킬 수 있는 원격 제어 시스템을 얻는다. 보수용 단말은 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정부와, 화면 특정부가 특정한 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 조작 단말에 송신하는 화면 정보 생성부를 구비하며, 조작 단말은 화면 레이아웃 정보에 기초하여, 조작 단말의 화면에 화면 부품을 표시하는 것과 함께, 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 보수용 단말에 송신하는 조작·표시부를 구비한 것이다.

Description

원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법{REMOTE CONTROL SYSTEM, MAINTENANCE TERMINAL, OPERATION TERMINAL, AND REMOTE CONTROL METHOD}
본 발명은 보수(保守, maintenance)용 단말의 화면을 조작 단말에 송신하여 표시하는 것과 함께, 조작 단말로부터의 화면 조작 이벤트에 기초하여 보수용 단말을 조작하는 원격 제어 시스템 및 원격 제어 방법에 관한 것이다.
보수용 단말(노트 PC)을 사용할 때에, 보수 작업중에 한 손에 부품을 들면서 사용하고 싶은 등, 조작 상의 제약을 회피하기 위해, 보수용 단말을 떨어진 장소에 설치한 채로, 한 손으로 조작 가능한 스마트폰(smartphone)을 조작 단말로 하여, 보수용 단말을 원격 조작하는 방법이 있다. 또한, 스마트폰 이외에도, 무선 LAN이나 Bluetooth(등록상표) 등의 통신을 탑재한 소형의 단말을 이용하는 방법이 있다.
스마트폰으로부터 노트 PC를 원격 조작하는 방법인 리모트 데스크톱은, PC 화면을 스마트폰 화면에 송신하여 표시하고, 스마트폰의 터치 패널 조작(화면 조작 이벤트)을 노트 PC의 조작 입력으로 함으로써, 스마트폰 화면에 의해 PC 화면의 표시·조작을 가능하게 한다.
그렇지만, 이 방법에서는, 도 8에 나타내는 바와 같은 상대적으로 큰 PC 화면(Full HD 11.6인치 액정)을, 도 9에 나타내는 바와 같은 작은 스마트폰 화면(720×1280 4.3인치 액정)에 송신하여 표시하면, 조작 대상의 보수용 앱 화면이 작아져, 시인성(視認性)이 저하하는 것과 함께, 조작성이 저하한다.
또한, 표시 사이즈를 크게 하기 위해서, 스마트폰 화면을 확대하고 스크롤 바를 붙였다고 해도, 보수용 앱 화면의 소정의 영역을 표시하기 위해서는, 스크롤 바를 조작할 필요가 있어, 조작성이 저하한다.
여기서, 메인장치와 단말장치를 통신으로 접속하고, 메인장치의 화면의 일부를 추출하여, 단말장치에 표시하는 기술이 알려져 있다(예를 들면, 특허문헌 1, 2 참조). 또한, 스마트폰으로부터 PC 상의 애플리케이션을 원격 조작하기 위해서, 스마트폰용의 레이아웃을 생성하는 기술이 알려져 있다(예를 들면, 특허문헌 3 참조).
일본국 특개 2014-10568호 공보 일본국 특개 2013-145565호 공보 일본국 특개 2013-235438호 공보
그렇지만, 종래 기술에는 이하와 같은 과제가 있다.
즉, 특허문헌 3에는, 스마트폰으로부터 PC를 원격 조작하기 위해서, 스마트폰용의 레이아웃을 생성하는 기술이 개시되어 있지만, 조작 대상이 되는 애플리케이션 화면을 지정하는 것에 대해서는, 하등 개시되어 있지 않다.
그 때문에, 특허문헌 1, 2에 개시된 메인장치의 화면의 일부를 추출하여, 단말장치에 표시하는 기술을 이용했다고 해도, 조작 대상의 보수용 앱 화면을 스마트폰에 적절히 표시할 수 없어서, 시인성이 저하되는 것과 함께, 조작성이 저하된다고 하는 문제가 있다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 조작 단말로부터 보수용 단말을 원격 조작하는 경우에 있어서, 조작 대상의 보수용 앱 화면에 대한 시인성 및 조작성을 향상시킬 수 있는 원격 제어 시스템을 얻는 것을 목적으로 한다.
본 발명에 따른 원격 제어 시스템은 보수용 단말의 화면을 조작 단말에 송신하여 표시하는 것과 함께, 조작 단말로부터의 화면 조작 이벤트에 기초하여 보수용 단말을 조작하는 원격 제어 시스템으로서, 보수용 단말은, 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정부와, 화면 특정부가 특정한 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 조작 단말에 송신하는 화면 정보 생성부를 구비하며, 조작 단말은, 화면 레이아웃 정보에 기초하여, 조작 단말의 화면에 화면 부품을 표시하는 것과 함께, 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 보수용 단말에 송신하는 조작·표시부를 구비한 것이다.
본 발명에 따른 원격 제어 시스템에 의하면, 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정부와, 화면 특정부가 특정한 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 조작 단말에 송신하는 화면 정보 생성부와, 화면 레이아웃 정보에 기초하여, 조작 단말의 화면에 화면 부품을 표시하는 것과 함께, 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 보수용 단말에 송신하는 조작·표시부를 구비하고 있다.
그 때문에, 조작 단말로부터 보수용 단말을 원격 조작하는 경우에 있어서, 조작 대상의 보수용 앱 화면에 대한 시인성 및 조작성을 향상시킬 수 있다.
도 1은 보수용 단말의 화면에 복수의 보수용 앱 화면과 1개의 비보수용 앱 화면을 표시한 설명도이다.
도 2는 보수용 앱 화면의 하나를 나타내는 설명도이다.
도 3은 조작 단말의 화면에 추출된 보수용 앱 화면의 화면 부품을 표시한 설명도이다.
도 4는 본 발명의 실시 형태 1에 따른 원격 제어 시스템을 나타내는 블록 구성도이다.
도 5는 조작 단말의 화면에 윈도우 타이틀과, 같은 화면의 섬네일의 일람을 표시한 설명도이다.
도 6은 본 발명의 실시 형태 1에 따른 원격 제어 시스템에 있어서의 보수용 단말의 처리를 나타내는 순서도이다.
도 7은 본 발명의 실시 형태 1에 따른 원격 제어 시스템에 있어서의 조작 단말의 처리를 나타내는 순서도이다.
도 8은 종래의 PC 화면에 보수용 앱 화면을 표시한 설명도이다.
도 9는 도 8에 나타낸 PC 화면을 스마트폰 화면에 송신하여 표시한 설명도이다.
이하, 본 발명에 따른 원격 제어 시스템의 바람직한 실시 형태에 대해 도면을 이용하여 설명하지만, 각 도면에 있어서 동일 또는 상당하는 부분에 대해서는, 동일 부호를 부여하여 설명한다.
실시 형태 1.
우선, 본 발명의 개요에 대해 설명한다. 본 발명에서는 보수용 단말에 표시된 복수의 앱 화면으로부터, 조작 대상이 되는 앱 화면을 1개 특정하고, 그 화면 중 조작 대상이 되는 화면 부품과 상태를 추출하여 조작 단말에 송신하여 표시하는 것과 함께, 조작 단말에 표시된 앱 화면의 화면 부품에 대한 조작을 화면 조작 이벤트 정보로서 보수용 단말에 송신하여, 보수용 단말의 앱 화면을 조작함으로써, 보수용 단말을 조작 단말로부터 조작 가능하게 한다.
여기서, 조작 대상이 되는 앱 화면을 1개 특정하는 것에 대하여 설명한다. 도 1에 나타내고 있는 바와 같이, 보수용 단말에 표시된 앱 화면 중, 보수용 앱 화면 1, 2는, 조작 단말로부터 원격 조작할 가능성이 있는 화면이며, 비(非)보수용 앱 화면은, 원격 조작하지 않는 화면이다.
본 발명에서는 보수용 단말에 표시하는 앱 화면 중, 표시·조작 대상 화면인 보수용 앱 화면 1, 2를 정의하고, 보수용 단말의 표시를 감시하여, 새롭게 표시된 앱 화면이 표시·조작 대상 화면에 해당하는 경우에는, 조작 대상이 되는 앱 화면을 1개 선택한다.
이어서, 조작 대상이 되는 화면 부품과 상태를 추출하는 것에 대해 설명한다. 도 2에 나타내고 있는 바와 같이, 특정된 보수용 앱 화면 2는, 윈도우 타이틀, 텍스트 1, 2, 비트맵 1, 2 및 버튼 1, 2와 같은 화면 부품을 포함하고 있다. 이때, 도 3에 나타내고 있는 바와 같이, 이 보수용 앱 화면 2에서의 조작에 필요한 텍스트 1, 비트맵 1 및 버튼 1만을 조작 단말의 화면에 표시한다.
본 발명에서는 보수용 앱 화면마다의 화면 부품 중, 조작 단말에 표시하는 화면 레이아웃을 정의하고, 선택한 화면 부품을, 화면 레이아웃에 따라 추출·배치하여 조작 단말의 화면 부품에 바꿔놓아 표시한다.
다음으로, 보수용 단말의 앱 화면을 조작하는 것에 대해 설명한다. 본 발명에서는 조작 단말로부터 수신한 화면 조작 이벤트 정보에 기초하여, 보수 단말의 그(identical) 화면 부품에 대한 그 조작을 실행한다.
이하, 도 4에 나타내는 블록 구성도에 기초하여, 본 발명의 실시 형태 1에 따른 원격 제어 시스템에 대하여 설명한다. 도 4에 있어서, 이 원격 제어 시스템은, 예를 들면 노트 PC인 보수용 단말(1)과, 스마트폰인 조작 단말(2)로 구성되어 있다. 또한, 보수용 단말(1)과 조작 단말(2)은, 무선 LAN 등으로 접속되어 있다. 또한, 보수용 단말(1)에는, 엘리베이터의 감시 카메라(3) 및 엘리베이터 장치(4)가 접속되어 있다.
보수용 단말(1)은, 앱 제어부(10)에 의해, OS(Operating System)(20)를 통해서 표시되고 있는 조작 대상 앱(30)의 앱 화면의 내용을 취득하는 것과 함께, 조작 대상 앱(30)에 대한 조작을 행하고, 비조작 대상 앱(40)에 대해서는 처리를 행하지 않는 것이다.
조작 단말(2)은, OS(21)를 통해서, 조작·표시부(22)에 보수용 단말(1)로부터 송신된 화면을 표시시키는 것과 함께, 조작·표시부(22)에 대한 화면 조작 이벤트 정보를 보수용 단말(1)에 송신한다.
앱 제어부(10)는 화면 특정부(11), 표시·조작 대상 화면 설정부(12), 화면 표시·조작 관계 설정부(13), 화면 정보 생성부(14), 화면 레이아웃 설정부(15) 및 앱 화면 조작부(16)로 구성되어 있다.
보수용 단말(1)의 화면 특정부(11)는 보수용 단말(1)에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부(12)의 정의에 따라서, 조작 대상 화면을 1개 특정한다. 여기서, 표시·조작 대상 화면 설정부(12)에는, 화면 특정부(11)가 화면을 특정하기 위한 정의로서, 화면의 속성과 화면 식별자가 이하에 나타내는 바와 같이 미리 설정되어 있다.
표시·조작 대상 화면 설정부(12)의 설정 예
1) 윈도우 타이틀 │ 윈도우 표시 프로세스(애플리케이션)명 │ 화면 식별자
2) 윈도우 타이틀 │ 윈도우 내의 화면 부품수 │ 화면 식별자
구체적으로는, 화면 특정부(11)는 화면에 표시되어 있는 각 앱 화면의 속성을 OS(20)로부터 취득하여, 표시·조작 대상 화면 설정부(12)의 정의 내의 각 속성과 비교하고, 일치한 속성이 있었던 경우에, 그 화면 식별자를 조작 대상 화면으로서 특정하여, 그 화면의 화면 ID를 OS(20)로부터 취득한다. 또한, 화면 ID는, OS(20)의 실행 중에 고유하게 화면을 특정하는 화면 ID이며, 예로써 Windows(등록상표)이면, 윈도우 핸들(window handle)이 화면 ID에 상당한다.
또한, 화면 표시·조작 관계 설정부(13)에는 화면 특정부(11)가 화면을 특정하기 위한 정의로서, 현재 조작 대상인 앱 화면에 대한 조작과, 조작에 대해서 다음으로 조작 대상이 되는 화면 식별자가, 이하에 나타내는 바와 같이 미리 설정되어 있다.
화면 표시·조작 관계 설정부(13)의 설정 예
1) 조작 대상 화면 식별자 │ 조작 내용 │ 다음 조작 대상 화면 식별자
여기서, 조작 내용은, 예를 들면 버튼 A 누름, 버튼 B 누름, 체크 박스 A 선택 등의 조작이며, 이들 조작에 의해서 조작 대상이 되는 화면이 바뀌거나, 또는 새롭게 표시되는 조작을 정의한다.
이때, 화면 특정부(11)는 화면 표시·조작 관계 설정부(13)의 정의와 비교하고, 특정한 조작 대상 화면과 일치하는 조작 대상 화면 식별자가 나타내는 조작 내용과, 조작 단말(2)에 대해서 행해진 조작의 내용이 일치하는 경우에는, 다음 조작 대상 화면 식별자를, 조작 대상 화면 후보로서 선택한다. 즉, 화면 특정부(11)는 표시·조작 대상 화면 설정부(12)의 정의에 기초하여, 후보의 화면이 표시된 것을 특정한다.
보수용 단말(1)의 화면 정보 생성부(14)는 화면 특정부(11)가 특정한 화면 식별자와 화면 ID(예를 들면 윈도우 핸들)를 이용하여, 화면 레이아웃 설정부(15)의 정의에 따라서, 조작 단말(2)에 송신하는 화면 레이아웃 정보를 생성한다. 구체적으로는, 우선, 화면 정보 생성부(14)는 화면 ID로부터 조작 대상의 앱 화면의 속성(윈도우 타이틀, 화면 부품, 부품 상태)을 취득한다. 화면 부품과 부품 상태에는, 이하에 나타내는 바와 같은 것이 있다.
화면 부품 │ 부품 상태의 예
1) 버튼 │ 부품 ID, 버튼 타이틀, 버튼 누름 가부(可否), 버튼 누름 상태
2) 체크 박스 │ 부품 ID, 표시 항목명, 선택 항목명
3) 리스트 박스 │ 부품 ID, 표시 항목명, 선택 항목명
4) 텍스트 │ 부품 ID, 표시되고 있는 문자열, 문자열의 색
5) 비트맵 │ 부품 ID, 표시되고 있는 비트맵 데이터
화면 레이아웃 설정부(15)는, 화면 식별자에 대해서, 조작 단말(2)에 표시하는 화면 부품을 특정하는 정보를, 이하에 나타내는 바와 같이 미리 설정한다.
화면 레이아웃 설정부(15)의 설정 예
1) 화면 식별자 │ 표시할 화면 부품을 특정하는 정보 │ 표시할 화면 부품을 특정하는 정보 │ ·····
여기서, 표시할 화면 부품을 특정하는 정보에는, 이하에 나타내는 바와 같은 것이 있다.
화면 부품 │ 화면 부품을 특정하는 정보의 예
1) 버튼 A │ 버튼 타이틀
2) 리스트 박스 │ 표시 항목명
3) 체크 박스 │ 표시 항목명
4) 텍스트 A │ 표시 문자열
5) 비트맵 │ 화면내 영역 좌표
이어서, 화면 정보 생성부(14)는 조작 대상의 앱 화면의 화면 부품, 부품 상태에 기초하여, 화면 레이아웃 설정부(15)에 설정된 화면 식별자의 화면 부품과 화면 부품을 특정하는 정보에 일치하는 화면 부품을 선택하고, 이하에 나타내는 바와 같은 화면 레이아웃 정보를 생성한다.
화면 레이아웃 정보의 예
1) 버튼 A │ 부품 ID │ 버튼 타이틀, 버튼 누름 가부, 버튼 누름 상태
2) 버튼 B │ 부품 ID │ 버튼 타이틀, 버튼 누름 가부, 버튼 누름 상태
3) 텍스트 A │ 부품 ID │ 문자열, 문자열의 색
4) 비트맵 A │ 부품 ID │ 비트맵 데이터
또한, 화면 정보 생성부(14)는 화면 레이아웃 정보를 조작 단말(2)에 송신한 후, 조작 대상 앱(30)의 화면 변화를 감시하고, 변화가 발생한 경우에, 새로운 화면 레이아웃 정보를 생성하여, 조작 단말(2)에 송신한다.
예를 들면, 화면 정보 생성부(14)는 보수용 단말(1)에 감시 카메라(3)의 화상이 표시되어 있는 경우에, 감시 카메라(3)가 정상으로 동작하고 있는 것을 판정하기 위해, 화상의 변화를 조작 단말(2)의 화면에 표시할 수 있다. 또한, 화면 정보 생성부(14)는 엘리베이터의 층상 표시 등의 수치 변화나 배너 문자열 등 변화, 그래프의 변화 등에 대해서도, 화상의 변화를 조작 단말(2)의 화면에 표시할 수 있다.
조작 단말(2)의 조작·표시부(22)는 화면 레이아웃 정보를 수신하면, 화면 레이아웃 정보에 기초하여, 조작 단말(2)의 화면에 각 화면 부품을 표시한다. 예를 들면, 버튼 A에 대해서는, 버튼을 화면 레이아웃 정보에 기재된 버튼 타이틀, 누름 가부, 누름 상태로 작성하여 화면상에 배치한다. 또한, 체크 박스나 리스트 박스, 텍스트, 비트맵에 대해서도 동일하게 작성하여 화면상에 배치한다.
이들 화면 부품은 조작 단말(2)의 특징에 맞추어 레이아웃이 결정되어도 된다. 예를 들면, 작은 화면에서 보기 쉽게 하기 위해 화면 부품을 크게 하거나, 작은 터치 패널에서 조작하기 쉽게 하기 위해 화면 부품을 크게 하는 등이다. 비트맵은 조작 단말의 화면 사이즈에 맞추어 크기 조정(resize)해도 되고, 스크롤 바를 마련하여 같은 사이즈로 표시해도 된다.
또한, 조작·표시부(22)는 조작 단말(2)의 화면에 화면 부품을 표시한 후, 각 화면 부품에 대한 조작을 감시하여, 조작이 있었던 경우에, 이하에 나타내는 바와 같은 화면 조작 이벤트 정보를 생성하여, 보수용 단말(1)에 송신한다. 이때, 부품 ID는 각 화면 부품에 대해서 수신한 것을 그대로 이용하여 응답한다.
화면 조작 이벤트 정보의 예
1) 버튼 A │ 부품 ID │ 버튼 누름
2) 체크 박스 A │ 부품 ID │ 항목 선택
3) 리스트 박스 A │ 부품 ID │ 항목 선택
4) 비트맵 A │ 부품 ID │ 클릭 좌표
보수용 단말(1)의 앱 화면 조작부(16)는 수신한 화면 조작 이벤트 정보에 기초하여, 조작 대상의 앱 화면에의 조작을 실행한다. 예를 들면, 버튼 A에 대한 화면 조작 이벤트 정보를 수신한 경우에는, 앱 화면 조작부(16)는 부품 ID로부터 앱 화면 내의 화면 부품을 특정하고, 그 화면 부품에 대한 버튼 누름을 실행한다.
또한, 화면 특정부(11)는 보수용 단말(1)에 표시된 각 앱 화면 중, 조작 대상 화면을 1개 특정하지만, OS(20)의 기동 직후는 조작 대상 앱(30)이 기동되어 있지 않기 때문에, 조작 대상의 앱 화면이 없다. 여기서, 화면 특정부(11)는 조작 대상의 앱 화면이 없는 경우에는, 화면 정보 생성부(14)에 대해서, 초기화면 생성 지시를 출력한다. 화면 정보 생성부(14)는, 초기화면의 화면 레이아웃 정보로서, 기동할 앱 일람을 조작 단말(2)에 송신한다.
여기서, 기동할 앱 일람은, 화면 레이아웃 설정부(15)에, 이하에 나타내는 바와 같이 미리 정의되어 있다.
기동할 앱의 예
1) 보수 앱 1 기동 버튼 │ 실행 파일명
2) 보수 앱 2 기동 버튼 │ 실행 파일명
···
n) 보수 앱 n 기동 버튼 │ 실행 파일명
이때, 조작·표시부(22)는 보수 앱 기동 버튼으로서, 기동할 앱 일람을 화면에 표시하여, 버튼이 눌려진 경우에, 화면 조작 이벤트 정보로서, 그 버튼에 대응하는 실행 파일명을 보수용 단말(1)에 송신한다. 이에 대해서, 앱 화면 조작부(16)는 실행 파일명을 수신하면, OS(20)에 대해서 그 실행 파일의 기동을 지시한다.
또한, 화면 특정부(11)는 보수용 단말(1)에 표시된 각 앱 화면으로부터 조작 대상 화면을 1개 특정하는 처리에 있어서, 표시되고 있는 앱 화면의 정보를, 화면 정보 생성부(14)를 통해서 화면 레이아웃 정보로서 조작·표시부(22)에 송신하여, 조작 대상의 앱 화면을 선택시켜도 된다. 화면 레이아웃 정보의 설정 예에는, 이하에 나타내는 바와 같은 것이 있다.
화면 레이아웃 정보의 설정 예
1) 윈도우 타이틀 1 │ 화면 ID │ 화면의 섬네일의 비트맵
2) 윈도우 타이틀 2 │ 화면 ID │ 화면의 섬네일의 비트맵
···
n) 윈도우 타이틀 n │ 화면 ID │ 화면의 섬네일의 비트맵
이때, 조작·표시부(22)는 도 5에 나타내는 바와 같이, 조작 단말(2)의 화면에 윈도우 타이틀과, 그 화면의 섬네일(thumbnail)의 일람을 표시하고, 선택된 윈도우 타이틀 또는 섬네일에 대응한 화면 ID를 보수용 단말(1)에 송신한다. 이에 대해서, 화면 특정부(11)는 화면 ID의 화면을 조작 대상 화면으로서 특정한다.
이어서, 도 6의 순서도를 참조하면서, 본 발명의 실시 형태 1에 따른 원격 제어 시스템에 있어서의 보수용 단말(1)의 처리에 대해 설명한다. 도 6의 처리는 예를 들면 미리 설정된 임의의 타이밍이나, 애플리케이션이 기동된 타이밍에서 실행된다.
도 6에 있어서, 우선, 화면 특정부(11)는, 화면 정보 생성부(14)에 대해서, 초기화면 생성 지시를 출력하고(스텝 S1), 화면 정보 생성부(14)는 초기화면의 화면 레이아웃 정보를 생성하여 조작 단말(2)에 송신한다(스텝 S2).
이어서, 앱 화면 조작부(16)가 화면 조작 이벤트 정보를 수신하면(스텝 S3), 보수 앱을 기동하고(스텝 S4), 화면 표시 대기, 또는 정기적으로 표시 화면이 검색된다(스텝 S5).
다음으로, 화면에 앱 화면이 표시되면, 화면 특정부(11)는 조작 대상 화면인지 여부를 판정한다(스텝 S6). 스텝 S6에 있어서, 조작 대상 화면이 아니라고(즉, No) 판정된 경우에는, 스텝 S5로 이행한다.
한편, 스텝 S6에 있어서, 대상화면이라고(즉, Yes) 판정된 경우에는, 화면 특정부(11)는 조작 대상 화면으로서 선택하고(스텝 S7), 화면 정보 생성부(14)는 화면 레이아웃 정보를 생성하여 조작 단말(2)에 송신한다(스텝 S8).
이어서, 앱 화면 조작부(16)는 화면 조작 이벤트 정보를 수신했는지 여부를 판정한다(스텝 S9). 스텝 S9에 있어서, 화면 조작 이벤트 정보를 수신하고 있지 않다고(즉, No) 판정된 경우에는, 화면 정보 생성부(14)는 조작 대상 화면에 변화가 있는지 여부를 판정한다(스텝 S10).
스텝 S10에 있어서, 조작 대상 화면에 변화가 있다고(즉, Yes) 판정된 경우에는, 스텝 S8로 이행한다. 한편, 스텝 S10에 있어서, 조작 대상 화면에 변화가 없다고(즉, No) 판정된 경우에는, 스텝 S9로 이행한다.
또 한편, 스텝 S9에 있어서, 화면 조작 이벤트 정보를 수신했다고(즉, Yes) 판정된 경우에는, 앱 화면 조작부(16)는 조작 대상 화면을 조작한다(스텝 S11).
다음으로, 화면 특정부(11)는 화면 표시·조작 관계 설정부(13) 내에, 조작 대상 화면과 조작 대상 화면에 대한 조작이 정의되어 있는지 여부를 판정한다(스텝 S12). 스텝 S12에 있어서, 화면 표시·조작 관계 설정부(13) 내에 정의되어 있지 않다고(즉, No) 판정된 경우에는, 스텝 S5로 이행한다.
한편, 스텝 S12에 있어서, 화면 표시·조작 관계 설정부(13) 내에 정의되어 있다고(즉, Yes) 판정된 경우에는, 화면 특정부(11)는 조작 대상 화면과 조작 대상 화면에 대한 조작이 정의와 일치하고 있는지 여부를 판정한다(스텝 S13). 스텝 S13에 있어서, 조작 대상 화면과 조작 대상 화면에 대한 조작이 정의와 일치하고 있지 않다고(즉, No) 판정된 경우에는, 스텝 S5로 이행한다.
한편, 스텝 S13에 있어서, 조작 대상 화면과 조작 대상 화면에 대한 조작이 정의와 일치하고 있다고(즉, Yes) 판정된 경우에는, 화면 특정부(11)는 정의 내의 다음 화면을 조작 대상 화면의 후보로 결정하고(스텝 S14), 스텝 S5로 이행한다.
다음으로, 도 7의 순서도를 참조하면서, 본 발명의 실시 형태 1에 따른 원격 제어 시스템에 있어서의 조작 단말(2)의 처리에 대해 설명한다. 도 7의 처리는 예를 들면 미리 설정된 임의의 타이밍이나, 조작 단말(2)이 기동된 타이밍에서 실행된다.
도 7에 있어서, 조작·표시부(22)는 보수용 단말(1)로부터 화면 레이아웃 정보를 수신하고(스텝 S21), 표시 화면을 생성하여 표시하는 것(스텝 S22)과 함께, 화면 조작을 감시한다(스텝 S23).
이어서, 조작·표시부(22)는 화면 조작이 있었는지 여부를 판정한다(스텝 S24). 스텝 S24에 있어서, 화면 조작이 없다고(즉, No) 판정된 경우에는, 조작·표시부(22)는 화면 레이아웃 정보를 수신했는지 여부를 판정한다(스텝 S25).
스텝 S25에 있어서, 화면 레이아웃 정보를 수신했다고(즉, Yes) 판정된 경우에는, 스텝 S22로 이행한다. 한편, 스텝 S25에 있어서, 화면 레이아웃 정보를 수신하고 있지 않다고(즉, No) 판정된 경우에는, 스텝 S23으로 이행한다.
한편, 스텝 S24에 있어서, 화면 조작이 있었다고(즉, Yes) 판정된 경우에는, 조작·표시부(22)는 화면 조작 이벤트 정보를 생성하여 보수용 단말(1)에 송신하고(스텝 S26), 스텝 S23으로 이행한다.
이상과 같이, 실시 형태 1에 의하면, 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정부와, 화면 특정부가 특정한 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 조작 단말에 송신하는 화면 정보 생성부와, 화면 레이아웃 정보에 기초하여, 조작 단말의 화면에 화면 부품을 표시하는 것과 함께, 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 보수용 단말에 송신하는 조작·표시부를 구비하고 있다.
그 때문에, 조작 단말로부터 보수용 단말을 원격 조작하는 경우에 있어서, 조작 대상의 보수용 앱 화면에 대한 시인성 및 조작성을 향상시킬 수 있다.
즉, 상대적으로 큰 PC 화면의 앱을 작은 스마트폰 화면에서 조작하기 위해서, 조작 대상이 되는 앱 화면을 1개 특정하고, 그 화면 중 조작 대상이 되는 화면 부품만을 스마트폰에서 표시하도록 했으므로, 스마트폰에서 시인·조작하는 경우에 있어서, 시인성 및 조작성을 향상시킬 수 있다.

Claims (9)

  1. 보수(maintenance)용 단말의 화면을 조작 단말에 송신하여 표시하는 것과 함께, 상기 조작 단말로부터의 화면 조작 이벤트에 기초하여 상기 보수용 단말을 조작하는 원격 제어 시스템으로서,
    상기 보수용 단말은,
    상기 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정부와,
    상기 화면 특정부가 특정한 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 상기 조작 단말에 송신하는 화면 정보 생성부를 구비하며,
    상기 조작 단말은,
    상기 화면 레이아웃 정보에 기초하여, 상기 조작 단말의 화면에 상기 화면 부품을 표시하는 것과 함께, 상기 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 상기 보수용 단말에 송신하는 조작·표시부를 구비한 원격 제어 시스템.
  2. 청구항 1에 있어서,
    상기 화면 특정부는 상기 표시·조작 대상 화면 설정부에 정의된 윈도우 타이틀과 일치하는 앱 화면을, 상기 조작 대상 화면으로서 특정하는 원격 제어 시스템.
  3. 청구항 1에 있어서,
    상기 화면 특정부는 상기 표시·조작 대상 화면 설정부에 정의된 윈도우 타이틀 및 윈도우 표시 프로세스와 일치하는 앱 화면을, 상기 조작 대상 화면으로서 특정하는 원격 제어 시스템.
  4. 청구항 1에 있어서,
    상기 화면 특정부는 상기 표시·조작 대상 화면 설정부에 정의된 윈도우 타이틀 및 윈도우 내의 화면 부품수와 일치하는 앱 화면을, 상기 조작 대상 화면으로서 특정하는 원격 제어 시스템.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 화면 특정부는 상기 화면 특정부가 특정한 조작 대상 화면에 대한 조작과, 이 조작에 대해서 다음으로 조작 대상이 되는 화면을 정의한 화면 표시·조작 관계 설정부에 따라서, 해당 조작이 행해진 경우에, 상기 다음으로 조작 대상이 되는 화면을 조작 대상 화면의 후보로 하는 원격 제어 시스템.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 화면 정보 생성부는 상기 화면 레이아웃 정보를 상기 조작 단말에 송신한 후, 상기 조작 대상 화면의 변화를 감시하고, 변화가 발생한 경우에, 새로운 화면 레이아웃 정보를 생성하여, 상기 조작 단말에 송신하는 원격 제어 시스템.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 기재된 보수용 단말로서, 상기 보수용 단말의 화면을 조작 단말에 송신하여 표시하는 것과 함께, 상기 조작 단말로부터의 화면 조작 이벤트에 기초하여 상기 보수용 단말을 조작하는 원격 제어 시스템에 적용되는 보수용 단말.
  8. 청구항 1 내지 청구항 6 중 어느 한 항에 기재된 조작 단말로서, 보수용 단말의 화면을 상기 조작 단말에 송신하여 표시하는 것과 함께, 상기 조작 단말로부터의 화면 조작 이벤트에 기초하여 상기 보수용 단말을 조작하는 원격 제어 시스템에 적용되는 조작 단말.
  9. 보수용 단말의 화면을 조작 단말에 송신하여 표시하는 것과 함께, 상기 조작 단말로부터의 화면 조작 이벤트에 기초하여 상기 보수용 단말을 조작하는 원격 제어 시스템에 있어서의 원격 제어 방법으로서,
    상기 보수용 단말의 화면에 표시된 각 앱 화면으로부터, 표시·조작 대상 화면 설정부의 정의에 따라서, 조작 대상 화면을 1개 특정하는 화면 특정 스텝과,
    상기 화면 특정 스텝에서 특정된 조작 대상 화면으로부터 화면 부품 및 부품 상태를 추출하고, 이들 화면 부품 및 부품 상태에 기초하여 화면 레이아웃 정보를 생성하여 상기 조작 단말에 송신하는 화면 정보 생성 스텝과,
    상기 화면 레이아웃 정보에 기초하여, 상기 조작 단말의 화면에 상기 화면 부품을 표시하는 것과 함께, 상기 화면 부품에 대한 조작을 감시하고, 조작이 있었던 경우에, 화면 조작 이벤트 정보를 생성하여 상기 보수용 단말에 송신하는 조작·표시 스텝을 구비한 원격 제어 방법.
KR1020177007992A 2014-10-08 2015-10-07 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 KR101919723B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-207072 2014-10-08
JP2014207072A JP6179954B2 (ja) 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法
PCT/JP2015/078468 WO2016056588A1 (ja) 2014-10-08 2015-10-07 遠隔制御システム、保守用端末、操作端末および遠隔制御方法

Publications (2)

Publication Number Publication Date
KR20170047313A true KR20170047313A (ko) 2017-05-04
KR101919723B1 KR101919723B1 (ko) 2018-11-16

Family

ID=55653196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177007992A KR101919723B1 (ko) 2014-10-08 2015-10-07 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법

Country Status (5)

Country Link
EP (1) EP3206116A4 (ko)
JP (1) JP6179954B2 (ko)
KR (1) KR101919723B1 (ko)
CN (1) CN106796482A (ko)
WO (1) WO2016056588A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT518298B1 (de) * 2016-03-07 2020-01-15 Avl List Gmbh Verfahren zum Erzeugen und Aktualisieren einer fernen Instanz einer Schirmansicht

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
KR20120100045A (ko) * 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041029A2 (en) * 2003-10-24 2005-05-06 Matsushita Electric Industrial Co., Ltd. Remote operation system, communication apparatus remote control system and document inspection apparatus
KR100752630B1 (ko) * 2005-07-11 2007-08-30 주식회사 로직플랜트 저속통신망과 저사양 개인용통신단말기에 최적화된 컴퓨터원격제어방법 및 그 시스템
US7835544B2 (en) * 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
JP5042102B2 (ja) * 2008-03-31 2012-10-03 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、プログラム、及び、遠隔操作システム
JP2009288093A (ja) * 2008-05-29 2009-12-10 Toshiba Corp 監視制御システム
JP4857406B1 (ja) * 2010-06-25 2012-01-18 パナソニック株式会社 制御装置およびスクリプト変換方法
CN103957236A (zh) * 2011-02-21 2014-07-30 北京奇虎科技有限公司 基于远程控制的图像显示方法和传输方法
JP5434941B2 (ja) * 2011-03-22 2014-03-05 横河電機株式会社 操作監視装置及び操作監視方法
CN103530096B (zh) * 2012-07-03 2018-11-16 索尼公司 远程控制方法、远程控制设备和显示设备
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム
CN103927222A (zh) * 2013-12-31 2014-07-16 瑞达信息安全产业股份有限公司 一种用于客户端与服务端的图形协同处理方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
KR20120100045A (ko) * 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム

Also Published As

Publication number Publication date
CN106796482A (zh) 2017-05-31
EP3206116A4 (en) 2018-06-20
WO2016056588A1 (ja) 2016-04-14
JP6179954B2 (ja) 2017-08-16
JP2016076150A (ja) 2016-05-12
KR101919723B1 (ko) 2018-11-16
EP3206116A1 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
US9292307B2 (en) User interface generation apparatus
CN107728562B (zh) 可编程显示器、更新处理装置及其方法及记录介质
US9560224B2 (en) Remote control device, remote operation device, screen transmission control method, and non-transitory computer-readable recording medium encoded with screen display control program
US9834876B2 (en) Sewing machine system, sewing machine, terminal device, method of displaying content for sewing machine system, recording medium storing program for sewing machine, and recording medium storing program for terminal device
CN101546192B (zh) 工厂信息显示设备和方法
US9875433B2 (en) Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program
KR20100103723A (ko) 유저인터페이스생성장치
US10684813B2 (en) Display device and method for controlling same
US20140173429A1 (en) Information processing apparatus, control method therfor, and storage medium
US20060288277A1 (en) Communication apparatus and display method
KR101919723B1 (ko) 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법
US10388257B2 (en) Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium
US10185520B2 (en) Information processing apparatus and method for information processing apparatus for executing print driver maintenance operations
US10523829B2 (en) Image forming device and control program of image forming device
US10359931B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program
RU2665921C1 (ru) Система удаленного управления и способ обработки информации
JP2019020892A (ja) 印刷システムおよびこれに用いるプリンタ
US10652411B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance
US20150163214A1 (en) Information processing apparatus, method of controlling the same, and storage medium
JP4869559B2 (ja) 画像信号発生装置、画像表示装置、画像表示装置のオンライン制御方法
US9497351B1 (en) Image forming system and monitoring method in which an image forming apparatus is monitored via a server
JP5649418B2 (ja) ディスプレイ画面調整装置
US20220281115A1 (en) Screen image transition information generation device, screen image transition information generation method, screen image transition information generation program, and screen image transition information generation system
JP2017182370A (ja) 表示制御装置
WO2017094051A1 (ja) アラーム表示装置、アラーム表示システムおよびアラーム表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant