KR102456267B1 - ＩｏＴ 장치에 대한 신뢰성 검증 시스템 - Google Patents

Abstract

본 발명은 IoT 장치의 신뢰성 검증을 위한 시스템에 관한 것으로 이 신뢰성 검증 시스템은 사용자 PC, IoT 장치, 및 웹서버를 포함하고,
상기 웹서버는 사용자 PC 접속시 라이선스 발급을 확인하고, 라이선스가 승인된 경우,사용자 PC는 웹서버로부터 콘트롤러를 설치하고, 검증을 위한 IoT 장치를 사용자 PC에 직접 연결하고 IoT 장치 / 콘트롤러에서 테스트 스크립트를 생성하여 서버로 전달하고 콘트롤러에서 IoT 장치로 테스트 스크립트를 전송하고 콘트롤러가 스크립트에 따라 테스트 수행 및 리포트를 생성하고 콘트롤러가 서버로 리포트를 전달하도록 구성된다.

Description

ＩｏＴ 장치에 대한 신뢰성 검증 시스템{A RELIABILITY TEST SYSTEM OF IoT DEVICE}

본 발명은 IoT 장치에 대한 신뢰성 검증 시스템에 관한 것으로, 구체적으로는 스마트폰, 타블렛 PC 등의 모바일 장치, 웨어러블 장치, 무인자동차, 산업용 로봇에 이르는 다양한 IoT 장치들에 대한 테스트 자동화, 리소스 모니터링 그리고 성능 테스트 등을 포함하는 IoT 장치들의 신뢰성을 검증하는 시스템에 관한 것이다.

최근 사람과 사람, 사람과 사물의 연결에서 생활 속 모든 것들을(Daily Life Objects) 상호연결시키고자 하는 사물인터넷(IoT: Internet of Things) 기술이 주목받고 있다. IoT 기술은 다양한 물리 공간의 사물들과 가상 공간의 프로세스 및 데이터 콘텐츠들이 인터넷을 통해 상호 연결되어 초연결사회(Hyper-Connected Society)가 구축되고, 사용자 중심의 지능형 서비스를 제공하기 위해 거대한 정보가 '생성-수집-공유-활용'되는 광범위한 기술이다.

최근의 연구문헌 및 기술 동향 조사에 의하면, 2014년 37.5억대로 추정되는 IoT 기기가 2015년에는 48.8억대에 이르고, 2020년에는 250억대에 이를 것으로 전망하고 있으며, 특히 2020년 IoT 기기의 절반 이상이 소비자 부문에서 발생할 것으로 전망하고 있다.

IoT 기술의 활성화 및 신규 서비스 창출에 있어서 소프트웨어(SW) 품질 확보를 위한 SW 테스트는 반드시 이루어져야 하는 중요한 핵심 공정이다. IoT 기술의 적용 산업 확대 및 장치의 증가 그리고 서비스의 확산에 따른 이용자의 증가를 고려하면 SW 품질의 영향이 더욱 커진다는 것을 의미하며, SW 품질에 문제가 발생하였을 경우 단순히 경제적 피해를 넘어서 인명 피해가 유발될 수도 있다. 특히 IoT 기술이 자동차, 공공제(전기/가스/수도), 의료, 가전등의 산업에 까지 확산되고 있고 기존에 발견하지 못했던 SW 결함들로 인해 발생한 사고와 피해들을 살펴보면 SW 품질이 얼마나 중요한지 충분히 알 수 있다.

IoT가 미래 ICT 시장을 주도할 유망한 분야라는 것에 많은 전문가들의 의견이 일치하고 있지만, 일부에서는 취약한 SW 품질로 인한 생명과 안전 위협, 프라이버시 침해, 편의성 저하 등을 부정적인 요인으로 인해 IoT 미래에 대해 부정적인 시각도 존재하는 것이 사실이다.

위와 같은 문제점의 해결을 위해서는 상호 연결되는 사물이나 기기들 간의 복잡성과 연동성 그리고 기능성 등을 센서, 서비스, 애플리케이션 레벨에서 모두 고민해야 하는 등 기존에 경험했던 SW 품질 이슈와는 차원이 다른 문제로 인식해야합니다

따라서 IoT 장치와 관련해서, 의료기기, 자동차 등에서의 취약한 SW 품질은 생명과 직결되는 등 안전과 관련하여 큰 이슈가 될 가능성이 농후하고, 스마트홈, 금융 등에서의 개인정보 유출, 도용, 남용 등 개인 프라이버시 침해 우려가 팽배하는 등 안전성, 보안성, 호환성(정합성)에 중점을 둔 소프트웨어의 품질 또는 신뢰성을 검증할 필요성이 존재하고 있다.

그러나 IoT 장치에 대한 SW 테스트는 상호 연결되는 사물이나 기기들 간의 복잡성과 연동성 그리고 기능성 등을 센서, 서비스, 애플리케이션 레벨에서 모두 고민해야 하는 등 기존에 경험했던 SW 품질 이슈와는 차원이 다른 문제로 단순 기능 테스트로는 SW 품질 수준 확보가 어려우며, IoT에 대한 특화된 SW 테스트 솔루션이 요구된다. IBM과 HP를 포함하여 시장에 출시된 테스트 솔루션은 Web과 Mobile에 대해 특화되어 있고 IoT 장치에 특화된 솔루션은 거의 없으며, 이로 인해 IoT 장치 대부분은 테스트를 하지 못한 상태로 출시되어 사용되고 있는 현실이다.

또한 GUI(Graphic User Interface)를 통해 확인이 가능한 경우 기능 동작에 대한 매뉴얼 테스트(Manual Test)를 수행하는 경우가 있지만, GUI를 통해 확인이 불가능한 경우 테스트를 하지 못한 상태로 출시되는 경우가 대부분이다.

IoT 장치는 여러 가지 요소기술이 통합되어 특정 서비스를 구성하기 때문에 각 요소 기술 자체의 결함과 연동시 새로운 결함이 발생한 가능성이 높아 단순한 매뉴얼 테스트로는 이를 확인할 수 없다는 문제점이 있다.

IoT 장치의 품질 확보를 위해 필요한 테스트 기능은 테스트 자동화, 리소스(CPU, Memory, Network, Battery) 모니터링, 구간별 처리 시간 측정, IoT 장치 로그(log) 분석이 필요한데 현재까지 이를 지원하는 솔루션은 존재하지 않는다.

본 발명은 전술한 문제점을 해결하기 위해 안출된 발명으로 IoT 서비스, 플랫폼 등 타 영역과의 연동 테스트와, IoT 장치에 대한 스크립트(Script) 기반 자동화 테스트, IoT 장치의 리소스 모니터링을 수행할 수 있는 신뢰성 검증 시스템을 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위해 본 발명에 따르면 IoT 장치의 신뢰성 검증을 위한 시스템이 제공된다. 신뢰성 검증 시스템은 사용자 PC, IoT 장치, 및 웹서버를 포함하고, 웹서버는 사용자 PC 접속시 라이선스 발급을 확인하고, 라이선스가 승인된 경우,사용자 PC는 웹서버로부터 콘트롤러를 설치하고, 검증을 위한 IoT 장치를 사용자 PC에 직접 연결하고 IoT 장치 / 콘트롤러에서 테스트 스크립트를 생성하여 서버로 전달하고 콘트롤러에서 IoT 장치로 테스트 스크립트를 전송하고 콘트롤러가 스크립트에 따라 테스트 수행 및 리포트를 생성하고 콘트롤러가 서버로 리포트를 전달하도록 구성된다.

본 발명에 따르면 IoT 장치들에 대한 SW 품질보증이 가능해 지고, IoT 장치가 정상적으로 동작하지 않는 경우 발생할 수 있는 경제적 손실, 시간 낭비, 비즈니스의 이미지 손상, 나아가 인명피해까지 일으킬 수 있는 리스크를 사전에 방지할 수 있다.

도 1은 본 발명에 따른 IoT 장치의 신뢰성 검증을 위한 시스템을 개략적으로 나타낸 도면.
도 2는 사용자 PC에 설치되는 컨트롤러의 구성을 개략적으로 나타낸 도면.
도 3은 본 발명의 IoT 장치의 신뢰성 검증 시스템의 웹서버의 구성을 개략적으로 나타낸다.
도 4는 웹서버에서 라이선스 활성화 방식 및 비활성화 방식을 설명하기 위한 설명도.
도 5는 도 1에 도시된 IOT 장치 신뢰성 검증 시스템의 내부 구성 및 그들 간의 프로세스 절차를 설명하기 위한 도면.
도 6은 컨트롤러/에이전트의 설치 과정을 나타낸 도면.
도 7은 테스트 자동화 프로세스의 개략적인 진행 절차를 나타낸 도면
도 8은 IoT 장치의 에러 로그 분석의 개략적인 진행 절차를 나타낸 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명에 따른 IoT 장치에 대한 신뢰성을 검증하기 위한 전체 시스템을 나타낸 도면이다. 도 1에 도시한 바와 같이 신뢰성 검증 시스템(10)은, 콘트롤러가 설치되는 클라이언트 PC(100), 에이전트가 설치되는 피검증 IoT 디바이스(일례로 안드로이드 장치)(200) 및 웹서버(300)를 포함한다.

클라이언트 PC(100)에는 컨트롤러가 설치되고 콘트롤러는 피검사 IoT 장치(200)에서 테스트 시나리오를 생성/수정을 요청한다. 콘트롤러는 클라이언트 PC(100)에서 웹페이지를 통해 IoT 장치를 제어가능하고 독립된 윈도우 프로그램을 사용하여 IoT 장치를 제어가능하다.

콘트롤러는 도 2와 같이 구성되고, 콘트롤러(Controller)(PC/Web)의 기능은 다음과 같다.

* 기본모듈

- IoT 장치에 설치된 에이전트(Agent)를 통제

- PC에서의 입력을 레코딩(Recording) 및 (Script)로 변환

- 스크립트를 IoT 장치로 전송

- IoT 장치의 에러 로그(Error Log) 추출

- 각 단말별 입력에 대한 동일 동작이 가능하도록 조정해주는 기능(예: 플리킹 등)

- Web / PC 환경에 대한 테스트 자동화 및 결과 보고서를 HTML로 출력하는 기능

- Web / PC 테스트 시 리소스 모니터링 및 단위 수행 시간 측정하는 기능

- 테스트 결과 보고서를 문서 파일로 변환하는 기능

- 테스트 결과 보고서를 Web(특정 계정)으로 전달해주는 기능

IoT 장치(200)는 UI를 포함하는 IoT 장치 및 UI를 포함하지 않는 IoT 장치를 모두 포함하고, IoT 장치에는 에이전트 프로그램이 설치되고 다음의 기능을 포함한다.

* 기본모듈

- 좌표, 객체, 이미지, 텍스트 등 입력 방식에 따른 레코딩(예 : OS 지원 객체로 입력하는 경우 객체로 저장, 없는 경우 좌표나 텍스트로 저장 등)

- 레코딩 정보를 정해진 컨트롤러(PC/Web)로 전달

- 전달된 스크립트를 기반으로 테스트 반복 수행

- 테스트 수행에 대한 리소스 모니터링 및 단위 수행 시간 측정

- 수행 결과에 대한 테스트 결과 보고서 작성 및 저장

- 테스트 결과 보고서를 PC/Web으로 전달해주는 기능

웹서버(300)는 도 3에 도시한 바와 같은 구성을 갖는다. 또한 웹서버(300)는 도 4에 도시한 바와 같은 라이선스(License) 활성화/비활성화 방식을 갖는다.

*기본모듈

PC / Web 콘트롤러에 대한 라이선스 관리

라이선스 정책은 기간, 계정, 기능 등에 따라 별도로 구현가능하다.

본 발명의 실시예에 따른 신뢰성 검증 시스템에서 구현되는 기능은 크게 테스트 자동화 기능, 리소스 모니터링 기능, 로그분석 기능, 테스트 결과 분석 기능을 포함하고 각각의 기능은 다음과 같다.

● 테스트 자동화 기능

테스트 자동화는 IoT 장치에 적용되는 솔루션 및 서비스 기능의 품질 수준을 확인하기 위한 기능을 의미한다. 테스트 자동화는 테스트 시나리오를 입력/편집/저장하고, 이를 기반으로 테스트를 자동으로 수행하여 해당 결과를 문서 형태로 제공해주는 것을 의미한다.

UI 인식 방식은 테스트 자동화와 연관된 기능으로 인식률과 품질 분석 커버리지에 큰 영향을 주는 요소이다. UI 인식률의 개선을 위해 객체, 이미지, 좌표, 텍스트 등의 UI 인식방식을 다중 적용하는 것이 바람직하다. UI 인식률은 UI 인식방식의 영향을 받으며 품질 분석 커버리지에 영향을 준다.

테스트 자동화 기능은 Windows/iOS PC 테스트 자동화 기능도 포함한다.

● 리소스 모니트링 기능

리소스 모니트링 기능은 IoT 장치가 특정 기능을 실행할 때 걸리는 시간과 CPU / Memory / Battery / Network 등의 리소스 점유율을 측정하여 결과 보고서로 제공하는 것을 의미한다.

리소스 모니터링은 IoT 디바이스의 CPU, Memory, Network, Battery의 사용량을 측정하기 위한 기능으로 소프트웨어 수준의 품질뿐만 아니라 하드웨어 수준의 품질을 측정하기 위한 필수적인 기능이다.

이와 연관하여 처리시간 측정은 IoT 장치와 적용되는 솔루션 및 서비스의 프로세싱 및 트랜젝션(Transaction) 시간을 측정하는 기능이다.

● 로그 분석 기능

로그 분석 기능은 IoT 장치가 기능/UI 동작 중에 OS에서 출력하는 에러 로그를 제공함으로써 테스터가 해당 로그를 보고 기능 / UI가 정상 동작하는지 여부를 확인할 수 있도록 지원하는 기능을 의미한다.

안드로이드 OS는 기능 / UI 테스트 시 화면상에서 아무런 이상이 없더라도 OS 레벨에서 이상이 감지되는 경우 에러 로그를 츨력하도록 구성된다.

IoT 장치 로그 분석 기능은 IoT 장치에서 UI와 기능 동작 중 출력되는 로그를 제공하는 것으로 Front-End Logic과 미들웨어(Middleware)의 동작시 IoT 장치가 정상적으로 동작하는지 확인할 수 있게 하는 지표이다.

● 테스트 결과 보고서 분석 기능

테스트 결과 보고서 분석이라 함은 테스트 SW가 출력한 다수의 테스트 결과 보고서를 비교/분석해주는 것을 의미하고 이를 통해 차수 별 테스트 진행 상황에 대한 정리가 이루어진다.

테스트 결과 보고서 분석 기능은 테스트 결과를 읽어 들이고, 이를 기반으로 시나리오/수행 차수별 테스트 결과 비교 및 분석 기능을 제공한다.

또한 단순 비교 외에 기술 통계와 시계열 분석 등 추가적인 분석이 더 제공될 수 있다.

도 5은 도 1에 도시한 시스템의 내부 구성 및 신뢰성 검증을 수행하는 개략적인 절차를 나타낸다. 도 5에 도시한 바와 같이, 본 발명에서의 신뢰성 검증을 위한 절차는 다음과 같다.

1. 사용자가 웹 브라우저에서 웹 서버로 웹 페이지 요청

2. 웹 브라우저에서 컨트롤러에게 안드로이드 기기(또는 IoT 장치) 사용 요청

3. 컨트롤로에서 안드로이드-콘트롤러에게 안드로이드 기기 사용 요청

4. 안드로이드-콘트롤러는 안드로이드 기기를 제어함 (예를 들어 CPU 정보 가져오기)

5. 안드로이드 기기에 요청한 서비스에 대한 응답을 컨트롤러에게 전달

6. 컨트롤러는 안드로이드 기기 처리 응답을 웹 서버에 있는 웹 페이지를 호출해서 전달

7. 웹 페이지는 응답 받은 정보를 DB 에 저장

8. 사용자에게 결과 통보

도 6은 콘트롤러 및 에이전트의 설치 절차를 나타낸 도면이다.

사용자는 먼저 PC를 통해 Controller 설치하고, 콘트롤러를 통해 에이전트를 설치한다. 이후 IoT 장치를 컨트롤러에 유선(또는 무선) 연결한다.

도 7은 테스트 자동화에 대한 절차를 나타내고 다음과 같다.

1) 에이전트를 통해 테스트 리코딩(스크립트 생성)

2) 컨트롤러를 통한 스크립트 확인 및 수정

3) 컨트롤러에서 스크립트 실행

4) IoT 장치의 에이전트에서 테스트 리포트 추출 및 확인

IoT 장치 에러 로그 분석은 도 8에 도시한 바와 같이 수행된다.

1) 테스트 실행

2) IoT 장치 에러 로그 추출 및 저장

3) 테스트 완료 시 해당 로그를 사용자에게 전달

전술한 바와 같은 본 발명에 따르면 IoT 서비스, 플랫폼 등 타 영역과의 연동 테스트와, IoT 장치에 대한 스크립트(Script) 기반 자동화 테스트, IoT 장치의 리소스 모니터링을 수행할 수 있는 신뢰성 검증 시스템을 제공할 수 있으므로 IoT 장치들에 대한 SW 품질보증이 가능해 지고, IoT 장치가 정상적으로 동작하지 않는 경우 발생할 수 있는 경제적 손실, 시간 낭비, 비즈니스의 이미지 손상, 나아가 인명피해까지 일으킬 수 있는 리스크를 사전에 방지할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아닌 설명을 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서 본 발명의 보호 범위는 전술한 실시예에 의해 제한되기 보다는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: IoT 장치 신뢰성 검증 시스템 100: 클라이언트 PC
200: IoT 장치 300: 웹서버

Claims (1)

1. IoT 장치의 신뢰성 검증을 위한 시스템에 있어서,
   사용자 PC, IoT 장치, 및 웹서버를 포함하고,
   상기 웹서버는 사용자 PC 접속시 라이선스 발급을 확인하고, 라이선스가 승인된 경우,
   사용자 PC는 웹서버로부터 콘트롤러를 설치하고,
   검증을 위한 IoT 장치를 사용자 PC에 직접 연결하고
   IoT 장치 및 콘트롤러에서 테스트 스크립트를 생성하여 서버로 전달하고
   콘트롤러에서 IoT 장치로 테스트 스크립트를 전송하고
   콘트롤러가 스크립트에 따라 테스트 수행 및 리포트를 생성하고
   콘트롤러가 서버로 리포트를 전달하도록 구성된 것을 특징으로 하는 IoT 장치의 신뢰성 검증을 위한 시스템.
   

Images