KR20140113242A - 이동 장치의 애플리케이션을 집중 모드로 변환하는 방법 - Google Patents

이동 장치의 애플리케이션을 집중 모드로 변환하는 방법 Download PDF

Info

Publication number
KR20140113242A
KR20140113242A KR1020130050678A KR20130050678A KR20140113242A KR 20140113242 A KR20140113242 A KR 20140113242A KR 1020130050678 A KR1020130050678 A KR 1020130050678A KR 20130050678 A KR20130050678 A KR 20130050678A KR 20140113242 A KR20140113242 A KR 20140113242A
Authority
KR
South Korea
Prior art keywords
app
mobile device
control element
unit
image
Prior art date
Application number
KR1020130050678A
Other languages
English (en)
Inventor
펠리시안 무레산 가브리엘
피쉐니히 마크
Original Assignee
라이트온 테크놀러지 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이트온 테크놀러지 코포레이션 filed Critical 라이트온 테크놀러지 코포레이션
Publication of KR20140113242A publication Critical patent/KR20140113242A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)

Abstract

이동 장치의 애플리케이션을 집중 모드로 변환하는 방법을 제공한다. 이 방법은, 이동 장치의 APP의 화상 및 제어 요소의 위치에 기초하여 APP 내의 그 제어 요소를 인식하는 단계와, 문자 인식 유닛에 의해 제어 요소의 콘텐츠 정보를 인식하는 단계와, 제어 핸들러에 의해 제어 요소 및 제어 요소의 위치와 콘텐츠 정보를 포함하는 레이아웃 기술을 생성하고, 레이아웃 기술을 그래픽 유저 인터페이스(GUI) 엔진에 송신하는 단계와, APP의 유저 인터페이스를 GUI 엔진을 통해 집중 모드로 재구축하는 단계를 포함한다.

Description

이동 장치의 애플리케이션을 집중 모드로 변환하는 방법{METHOD OF CONVERTING AN APPLICATION OF A MOBILE DEVICE INTO A DISTRACTION-FREE MODE}
본 발명은 애플리케이션의 인터페이스 변환에 관한 것이다. 구체적으로, 본 발명은 이동 장치의 애플리케이션의 인터페이스를 집중 모드(distraction-free mode)로 변환하는 방법에 관한 것이다.
스마트폰이나 아이패드 등의 이동 장치들은 다양한 애플리케이션들(APPs)을 다운로드할 수 있다. 사용자는 이동 장치의 유저 인터페이스를 이용하여 APP를 제어할 수 있으며, 예를 들어, 비주얼 디스플레이 시청, 페이스북이나 트위터 프로파일 갱신 등을 행할 수 있다.
점점 더 많은 자동차들에, 스크린, 스피커, 또는 키패드 등의 다양한 부품들을 포함하는 유저 인터페이스를 갖춘 "헤드 유닛" 또는 "인포테인먼트 시스템"이 장착되고 있다. 이동 장치로부터 헤드 유닛으로 APP를 확장하는 것은, 사용자가 헤드 유닛에 의해 제공되는 더욱 양호한 유저 인터페이스 부품들을 이용할 수 있기 때문에, 자동차 제조사들이 제공하는 대중적인 특징으로 되었다. 그러나, APP를 헤드 유닛이나 인포테인먼트 시스템 내에 집적하는 대부분의 이용가능한 솔루션들은 소유권이 있으며 일부 자동차 제조사들로 한정되어 있는데, 예를 들어, BMW의 "iDrive" 또는 Mercedes Benz의 "Media interface Plus"가 그러하다. 또한, 이들은 소프트웨어 개발 노력 때문에 매우 고가이다. 또한, 자동차 제조사들은, 차량 사용시, 특히, 운전 중, APP를 안전하게 유지하길 원하기 때문에, 가장 흔하게 사용되는 기능들을 모사하는 몇 개의 APP만이 이용가능하다. 또한, 이동 장치의 새로운 APP가 시장에 출시되면, 자동차 제조사들이 그 APP를 헤드 유닛 내에 집중 모드로 재구현하는 데 시간이 걸리고, 최종 사용자가 그 헤드 유닛에 만족하지 않을 수도 있다.
다른 경향은 이동 장치들의 APP들의 모든 디스플레이를 헤드 유닛에 반영하는 것이다. 예를 들어, MirrorLinkTM라 칭하는 솔루션은, Virtual Network Computing(VNC)을 기본 프로토콜로서 사용하여 스마트폰 APP의 유저 인터페이스를 인포테인먼트 시스템 스크린 상에 표시하고 사용자 입력을 다시 이동 장치에 대하여 통신한다. 따라서, 사용자는 익숙해지는 경우 헤드 유닛 상에서 자신의 APP를 사용할 수 있다. 그러나, 이동 장치들의 모든 APP를 변환할 수는 없는데, 그 이유는 그 APP들이 MirrorLinkTM에 의해 인증되어야 하기 때문이다. 따라서, 최종 사용자는 MirrorLinkTM에 의해 인증되지 않은 자신의 APP를 헤드 유닛 상에서 사용할 수 없다. 또한, APP가 차량 사용에 있어서 안전하고 운전자의 집중을 방해하지 않더라도, APP는, MirrorLinkTM에 의해 인증되지 않으면, 사용될 수 없다.
따라서, 이동 장치의 APP들을 차량 내에서의 집중 모드로 변환하기 위한 방안은, 운전 중 APP들의 텍스트와 이미지 형태로 된 많은 정보 및 대량의 아이콘과 메뉴로 인해 사용자의 집중이 방해받지 않음을 보장하도록 더 개선될 필요가 있다.
본 발명의 목적은 전술한 단점들을 극복하고 이동 장치의 APP를 집중 모드로 변환하는 방법을 제공하는 것이다. 따라서, 본 발명은 이동 장치의 APP를 집중 모드로 변환하는 방법을 제공하는 것으로서, 이 변환 방법은, (a) 이동 장치의 APP의 화상 및 제어 요소의 위치에 기초하여 APP 내의 그 제어 요소를 인식하는 단계와, (b) 문자 인식 유닛에 의해 제어 요소의 콘텐츠 정보를 인식하는 단계와, (c) 제어 핸들러에 의해 제어 요소 및 제어 요소의 위치와 콘텐츠 정보를 포함하는 레이아웃 기술(layout description)을 생성하고, 레이아웃 기술을 그래픽 유저 인터페이스(GUI) 엔진에 송신하는 단계와, (d) APP의 유저 인터페이스를 GUI 엔진을 통해 집중 모드로 재구축하는 단계를 포함한다.
본 발명의 바람직한 다른 목적은, 문자 인식 유닛이 광학 문자 인식(OCR) 방법에 의해 제어 요소의 콘텐츠 정보를 인식하는 것이다.
본 발명의 바람직한 또 다른 목적은, 상기 레이아웃 기술이 XML, XAML, 또는 텍스트 파일로서 정보 유닛에 저장되는 것이다.
본 발명의 바람직한 또 다른 목적은, 상기 집중 모드가 제어 요소들의 형태, 크기, 또는 개수의 설계시 특정 사용자 요건에 맞춰지는 것이다.
본 발명의 바람직한 또 다른 목적은, 상기 이동 장치가 스마트폰, 아이패드, 태블릿 컴퓨터, 또는 전자 신문(e-paper)인 것이다.
본 발명의 바람직한 또 다른 목적은, APP가 이동 장치로부터 정보 유닛의 집중 모드로 변환되는 경우, 상기 변환 방법이, (a-1) (a) 단계 전에, APP의 화상을 이동 장치로부터 정보 유닛으로 송신하는 단계를 더 포함하고, (a) 단계 내지 (d) 단계는 정보 유닛에서 수행되는 것이다.
본 발명의 바람직한 또 다른 목적은, APP의 화상을 이동 장치로부터 정보 유닛으로 송신하는 단계가, USB, 와이파이, 무선 주파수 식별(RFID) 또는 블루투스 송신 기술을 이용하는 것이다.
본 발명의 바람직한 또 다른 목적은, 이동 장치의 APP의 화상이 JPG, BMP, 또는 RAW 파일로서 송신되는 것이다.
본 발명의 바람직한 또 다른 목적은, 상기 정보 유닛이 차량에 설치되고, 상기 정보 유닛이 헤드 유닛 또는 인포테인먼트 시스템인 것이다. 또한, 정보 유닛은 정보를 사용자에게 시각적 또는 청각적 형태로 제공할 수 있다. 또한, 차량은, 자동차, 보트, 선박, 항공기, 레저 차량, 또는 오토바이이다.
본 발명의 방법을 이용함으로써, 이동 장치는, 사용자가 자신의 작업에 집중하고자 하는 경우 APP들의 복잡한 인터페이스로 인해 사용자의 집중을 방해하지 않는 APP들의 집중 모드를 제공할 수 있다. 또한, 사용자는, 정보 유닛에서 자신의 이동 장치의 모든 APP들에 항상 액세스할 수 있고, APP들의 프리젠테이션은 집중 모드로 행해진다.
본 발명의 이해를 돕고자, 전술한 문제점들, 특징들, 및 효과들을 달성하도록 본 발명에서 채용하는 기술들을, 이하에서 첨부 도면을 참조하여 예들 들어 설명한다.
도 1은 본 발명의 방법의 일부 동작들을 설명하는 블록도.
도 2는 본 발명의 방법의 정보 유닛에서 이동 장치의 APP를 집중 모드로 변환하는 일부 동작들을 도시하는 블록도.
도 3은 도 1의 처리 단계들의 일례를 도시하는 흐름도.
도 4는 이동 장치의 APP의 화상 분석을 도시하는 블록도.
도 5는 정보 유닛의 인터페이스 상에서의 이동 장치의 APP와 집중 모드 간의 변환을 도시하는 블록도.
다음에 따르는 상세한 설명에서는, 본 발명의 예시적인 일부 실시예들만을 예시적으로 도시하고 설명한다. 당업자라면 인식하듯이, 후술하는 예시적인 실시예들은 본 발명의 사상이나 범위로부터 벗어나지 않고 모두 다양한 방식으로 수정되어도 된다. 이에 따라, 도면과 설명은 사실상 제한적이 아니라 예시적으로 간주되어야 한다.
본 발명의 기술적인 내용은 바람직한 실시예의 상세한 설명으로 명백해질 것이다.
본 발명의 목적은 이동 장치의 APP들을 집중 모드로 변환하는 것이다. 본 명세서에서 사용되는 "집중 모드"(distraction-free mode)라는 용어는 사진, 화상, 또는 복잡한 메뉴들이 생략된 APP들의 모드를 가리킨다. 텍스트와 간략화된 버튼, 입력 박스, 텍스트 필드만이 집중 모드의 인터페이스 상에 표시되고, APP들의 기능은 이동 장치에서의 원래 모드와 동일하게 유지된다. 본 발명에서, 집중 모드는 정보 유닛 상에 표시되는 제어 요소들의 형태, 크기, 또는 개수 및 텍스트의 설계시 특정 사용자 요건에 적응하도록 미리 정의될 수 있다. 자신의 작업(예를 들어, 운전, 모니터링, 기계 제어 등)에 더욱 집중할 필요가 있으며 자신의 이동 장치의 APP의 복잡한 인터페이스로 인해 집중이 안 되는 사용자는 APP의 집중 모드를 이용할 것을 권고받는다. 이동 장치의 APP를 집중 모드를 변환하는 것은 원래의 이동 장치에서 또는 정보 유닛 등의 다른 장치에서 수행될 수 있다.
도 1을 참조해 보면, 본 발명의 방법을 위한 예시적인 실시예의 일부 요소를 도시하고 있다.
예시적인 제1 실시예에서, 본 발명의 방법에서 사용되는 시스템(10)(이하, "APP 변환기 시스템" 또는 "APP 변환기"라 칭할 수 있음)은 이동 장치(20)에 포함된다. 본 발명에서 사용되는 이동 장치(20)(핸드헬드 장치, 핸드헬드 컴퓨터, 또는 간단히 핸드헬드라고도 알려져 있음)라는 용어는, 통상적으로, 터치 입력 및/또는 소형 키보드를 갖춘 표시 스크린을 갖는 소형 컴퓨팅 장치를 가리킨다. 이동 장치(20)는 운영 체제(OS)를 갖고, APP(22)로 알려진 애플리케이션 소프트웨어(22)의 다양한 유형을 실행할 수 있다. 또한, 대부분의 이동 장치들에는, 인터넷 및 기타 블루투스 가능 장치들에 연결될 수 있는 와이파이, 블루투스, 및 GPS 기능들이 설치될 수 있다. 카메라 또는 비디오나 음악 파일용 미디어 플레이어 피처도 통상적으로 리튬 배터리 등의 안정적인 배터리 전원과 함께 이러한 장치들에 설치될 수 있다. 이동 장치의 통상적인 유형으로는, 스마트폰, 모바일 컴퓨터, 태블릿 컴퓨터, 휴대 정보 단말기, 휴대용 미디어 플레이어, 디지털 스틸 카메라, 전자 신문 등이 있지만, 이러한 예들로 한정되지는 않는다.
도 1에 예시한 실시예에서, 본 발명의 방법에 사용되는 (이하, "APP 변환기 시스템" 또는 "APP 변환기"라고 칭할 수 있는) 시스템(10)은, 화상 인식 유닛(11), 문자 인식 유닛(12), 제어 핸들러(13), 그래픽 유저 인터페이스(GUI) 엔진(14), 및 디스플레이(15)를 포함하고, 이 시스템은 두 개의 서브시스템으로 더 분할될 수 있다. 제1 서브시스템은 이동 장치(20)의 초기 APP(22)를 분석하기 위한 것이고, 제1 서브시스템은 화상 인식 유닛(11), 문자 인식 유닛(12), 및 제어 핸들러(13)를 포함한다. GUI 엔진(14)과 디스플레이(15)를 포함하는 제2 서브시스템은 APP(22)를 이동 장치(20)의 디스플레이(15) 상에 표시될 집중 모드로 재생성하기 위한 것이다.
도 1에 예시한 실시예의 동작에 대해서는, 도 3을 또한 참조하기 바란다. 도 3은 도 1의 처리 단계들의 일례를 도시하는 흐름도(200)이다. 제1 단계는, 화상 인식 유닛(11)에 의해 이동 장치(20) 상의 APP(22)의 화상 및 제어 요소의 위치에 기초하여 APP(22) 내의 제어 요소를 인식하는 것이다(블록 201). 화상 분석을 이용함으로써, 이동 장치(20)의 인터페이스 상의 APP(22)의 모든 제어 요소들, 예를 들어, 버튼, 입력 박스, 텍스트 필드 등이. 도 4에 도시한 바와 같이, 초기 운영 체제에 상관없이 소정의 형상으로 인식되고 기술된다. 화상 분석 기술은, 디지털 화상 처리 기술들에 의해, 화상으로부터, 주로 디지털 화상들로부터, 유의미한 정보를 추출하는 것이다. 화상 분석 기술을 당업계에 공지되어 있으며 디지털 카메라에서 사용되는 얼굴 인식과 같이 널리 사용되어 왔다. 기본적으로, 화상 인식 유닛(11)은 그래픽 알고리즘들로 이루어지며, 화상 인식 유닛(11)의 태스크들은 바 코드 태그를 읽는 것만큼 간단할 수 있고 또는 인간의 얼굴을 식별하는 것만큼 복잡할 수 있다. 이러한 방식으로, 제어 요소(111)와 APP(22) 내의 제어 요소(111)의 위치(121)는 이동 장치(20)의 초기 유저 인터페이스의 APP(22)의 화상(21)으로부터 추출될 수 있다.
제2 단계에서, 제어 요소(111)의 콘텐츠 정보(131)를 얻기 위해, 제어 요소(111)와 제어 요소의 위치(121)는 문자 인식 유닛(12)에 송신된다. 본 명세서에서 사용되는 "콘텐츠 정보"라는 용어는 제어 요소(111)의 문맥, 텍스트, 텍스트형 콘텐츠를 포함하지만, 이러한 예들로 한정되지는 않는다. 제어 요소(111)의 콘텐츠 정보(131)는, 광학 문자 인식 방법(OCR로 약기됨) 등의 문자 인식 기술을 통한 문자 인식 유닛(12)에 의해 분석된다(블록 202). OCR은 수기한, 타이핑한, 또는 인쇄한 텍스트를 스캐닝한 화상들이 ASCII 등의 기계 인코딩된 텍스트로 기계적으로 또는 전자적으로 변환된 것이다.
제3 단계는, 제어 핸들러(13)에 의해 제어 요소(111), 제어 요소(111)의 콘텐츠 정보(131)와 위치(121)를 포함하는 레이아웃 기술(141)을 생성하는 것이다(블록 203). 제어 핸들러(13)는 이동 장치(20)에 포함된다. 더욱 정확하게, 제어 핸들러(13)는 이동 장치(20)의 프로세스를 제어하도록 기능을 하는 일련의 스레드들로 이루어진다. 구체적으로, 레이아웃 기술(141)은 이동 장치(20)에 XML, XAML, 또는 텍스트 파일로 저장된다. 레이아웃 기술(141)이 생성되면, 시스템(10)의 제2 서브시스템은 APP(22)의 유저 인터페이스(151)를 이동 장치(20)의 디스플레이(15) 상에 집중 모드로 재구축한다. 레이아웃 기술(141)은 그래픽 유저 인터페이스(GUI) 엔진(14)에 자동 송신된다(블록 204). GUI 엔진(14)은, 집중 방해 없이 유저 인터페이스가 조작 가능한 상태로 유지되는 것을 확실히 하도록 사용자에 의해 조절가능한 스크린 페이지당 제어의 형태, 크기, 및 최대 개수 등의 설계에 있어서 APP(22)의 유저 인터페이스를 특정 고객 요건으로 재구축한다(블록 205). 도 5에 도시한 바와 같이, 이동 장치(20)의 인터페이스 상의 초기 APP(22)(페이스북)는 좌측에 도시되어 있다. 본 발명의 방법을 이용함으로써 APP(22)를 변환한 후에, 도 5의 우측의 이동 장치(20)의 디스플레이(15) 상에 집중 모드가 생성된다. 도 5에서 알 수 있는 바와 같이, APP(22)의 집중 모드는 APP의 초기 모드와 여전히 동일하게 기능하지만, 복잡한 그림, 사진, 및 메뉴는 생략된다.
도 2를 참조해 보면, 본 발명의 방법을 위한 예시적인 다른 실시예의 일부 요소를 도시하고 있다. 본 발명의 제2 실시예는 이동 장치(20)의 APP(22)를 정보 유닛의 집중 모드로 변환하는 것이다. 제1 실시예와 제2 실시예의 차이점은, 제2 실시예의 방법에서 사용되는 시스템(10)이 정보 유닛에 포함되고 이동 장치(20)가 정보 유닛에 연결된다는 점이다. 본 명세서에서 사용되는 "정보 유닛"이라는 용어는, 사용자에게 정보를 시각적 및/또는 청각적 형태로 제공하는 데 적절한 장치를 가리킨다. 바람직한 실시예에서, 정보 유닛은 또한 운영 체제(OS)를 갖고, APP들의 다양한 유형을 실행할 수 있다. 바람직한 실시예에서, 정보 유닛은 차량에 설치된 헤드 유닛이다. 본 명세서에서 사용되는 "차량"이라는 용어는, 자동차, 보트, 선박, 항공기, 레저 차량, 또는 오토바이를 포함하지만, 이러한 예들로 한정되지는 않는다.
제2 실시예에서, 방법은 APP(22)의 화상(21)을 이동 장치(20)로부터 정보 유닛의 시스템(10)으로 송신하는 단계를 더 포함한다. 이 단계에서, 이동 장치(20) 상의 인터페이스의 화상(21)은 RealVNC 등의 기존의 집적 기술들을 통해 투영되거나 촬영된다. RealVNC는, 에이전트가 집중형 서버가 필요없는 크로스 플랫폼 원격 액세스 및 제어 소프트웨어(cross-platform remote accessing and controlling software)이다. 이러한 방식으로, 이동 장치(20)는 이동 장치(20)로부터의 APP(22)의 화상(21)을 변환하는 데 사용되는 RealVNC 서버로서 간주되고, 정보 유닛은 화상(21)을 수신하기 위한 RealVNC 뷰어로서 간주된다. 화상(21)은, USB, 와이파이, 무선 주파수 식별(RFID) 또는 블루투스 등의 기존의 송신 기술들을 통해 이동 장치(20)로부터 정보 유닛의 시스템(10)으로 송신되며, 기존의 송신 기술들은 그러한 예들로 한정되지 않는다. 더욱 정확하게, 화상(21)은, 유저 인터페이스, 또는 이동 장치(20)의 인터페이스 상의 APP(22)의 프레임워크이고, 화상(21)은 JPG, BMP, RAW, 또는 화상 파일의 다른 유형으로서 포맷된다. 화상(21)이 정보 유닛의 시스템(10)으로 송신되는 경우, 이 화상은, 모든 단계들이 정보 유닛의 시스템(10)에서 수행된다면, 도 3에 도시한 동일한 화상 처리 단계들을 거치게 된다. 생성된 집중 모드의 개략적인 최종 결과는, APP(22)의 집중 모드가 원래의 이동 장치(20)가 아니라 정보 유닛의 디스플레이(15) 상에 도시된다는 점을 제외하고는, 도 5에 도시한 바와 같이 제1 실시예와 동일하다. APP(22)의 집중 모드는 APP의 초기 모드와 여전히 동일한 기능을 갖지만, 복잡한 그림, 사진, 및 메뉴는 생략된다.
또한, 사용자 상호작용(161) 또는 사용자 엔티티(디스플레이(15)가 터치스크린이면, 사용자 상호작용(161)은 사용자가 지시를 내리도록 스크린을 터치하는 경우 터치 이벤트임)가 초기 APP(22)에 다시 송신될 수 있으며, 그 이유는, 집중 모드 APP(22) 상에 도시된 제어 요소(111)에 대한 사용자 상호작용(161)을 제어 요소(111)의 위치(121)를 파악함으로써 직접 다룰 수 있기 때문이다. 즉, 집중 모드 APP(22)가 사용자로부터 사용자 상호작용(161)을 수신하면, GUI 엔진(14)은 사용자 상호작용(161)을 제어 핸들러(13)에 송신하고, 제어 핸들러(13)는 제어 요소(111)의 위치(121)를 파악함에 따라 애플리케이션에 대한 사용자 상호작용(161)을 직접 다룬다. 따라서, 사용자 상호작용(161)이 이동 장치(20) 상의 초기 디스플레이에 대한 사용자 액션(171)으로서 변환된다. 정보 유닛이 RealVNC 뷰어로서 기능을 하므로, 정보 유닛은 사용자 액션(171)을 이동 장치(20)에 다시 송신하고, 이러한 이동 장치는 RealVNC 서버로서 기능을 한다. 따라서, 이동 장치(20) 상의 APP(22)는 사용자 액션(171)에 따라 제어 커맨드를 도시한다. 제어 커맨드에 대한 모든 응답은 이동 장치(20) 상에 표시되고, 새로운 화상(21)이 생성되며, 이어서 정보 유닛에 다시 송신된다.
결론적으로, 본 발명의 방법은, 화상 분석을 통한 화상 인식 유닛(11) 및 문자 인식 기술을 통한 문자 인식 유닛(12)에 의해 제어 요소(111) 및 제어 요소(111)의 콘텐츠 정보(131)와 위치(121)를 추출한 후 APP(22)의 유저 인터페이스를 재구축함으로써, APP(22)를 집중 모드로 변환하는 것이다. 따라서, 모든 종류의 APP(22)가 집중 모드에서 변환될 수 있다.
본 발명의 방법을 사용하여 이동 장치의 APP(22)를 차량의 정보 유닛으로 변환하는 경우, 본 발명은 정보 유닛의 시스템(10) 내에서만 구현된다고 알려져 있다. 기존의 송신 기술 및 집적 기술이 사용될 수 있기 때문에, 이동 장치(20)에는 추가 설치가 필요 없다.
본 발명의 방법은, 자동차 산업, 가전 제품(consumer electronics), 가정용 전자 기기(household appliances) 등의 다양한 산업에 적용될 수 있다. 본 발명의 방법은, 일종의 APP(22)인 소프트웨어로서 프로그래밍될 수 있고, APP들(22)을 사용자가 작업하고 있지만 또한 동시에 장치의 APP들(22)도 사용하고 있는 경우 사용될 집중 모드로 변환하는 본 발명의 APP 변환기 시스템을 갖는 기타 장치 또는 이동 장치에 설치될 수 있다.
본 발명을 일부 예시적인 실시예들과 관련하여 설명하였지만, 본 발명은 개시된 실시예들로 한정되지 않으며, 오히려, 청구범위 및 그 균등 범위의 사상과 범위 내에 다양한 수정 및 균등 구성을 포함하려는 것이라는 점을 이해하기 바란다.

Claims (12)

  1. 이동 장치의 애플리케이션(APP)을 집중 모드(distraction-free mode)로 변환하는 방법으로서,
    (a) 상기 이동 장치의 APP의 화상 및 상기 제어 요소의 위치에 기초하여 상기 APP 내의 상기 제어 요소를 인식하는 단계와,
    (b) 문자 인식 유닛에 의해 상기 제어 요소의 콘텐츠 정보를 인식하는 단계와,
    (c) 제어 핸들러에 의해 상기 제어 요소 및 상기 제어 요소의 위치와 콘텐츠 정보를 포함하는 레이아웃 기술(layout description)을 생성하고, 상기 레이아웃 기술을 그래픽 유저 인터페이스(GUI) 엔진에 송신하는 단계와,
    (d) 상기 APP의 유저 인터페이스를 상기 GUI 엔진을 통해 집중 모드로 재구축하는 단계를 포함하는, 변환 방법.
  2. 제1항에 있어서, 상기 문자 인식 유닛은 광학 문자 인식(OCR) 방법에 의해 상기 콘텐츠 정보를 인식하는, 변환 방법.
  3. 제1항에 있어서, 상기 레이아웃 기술은 XML, XAML, 또는 텍스트 파일로서 저장되는, 변환 방법.
  4. 제1항에 있어서, 상기 집중 모드는 상기 제어 요소의 형태, 크기, 또는 개수, 및 텍스트의 설계시 특정 사용자 요건에 맞춰지는, 변환 방법.
  5. 제1항에 있어서, 상기 이동 장치는 스마트폰, 아이패드, 태블릿 컴퓨터, 또는 전자 신문(e-paper)인, 변환 방법.
  6. 제1항에 있어서, 상기 APP가 상기 이동 장치로부터 정보 유닛의 집중 모드로 변환되는 경우, (a-1) 상기 (a) 단계 전에, 상기 APP의 화상을 상기 이동 장치로부터 상기 정보 유닛으로 송신하는 단계를 더 포함하고,
    상기 (a) 단계 내지 (d) 단계는 상기 정보 유닛에서 수행되는, 변환 방법.
  7. 제6항에 있어서, 상기 정보 유닛은 사용자에게 정보를 시각적 또는 청각적 형태로 제공할 수 있는, 변환 방법.
  8. 제6항에 있어서, 상기 APP의 화상을 상기 이동 장치로부터 상기 정보 유닛으로 송신하는 단계는, USB, 와이파이, 무선 주파수 식별(RFID) 또는 블루투스 송신 기술을 이용하는, 변환 방법.
  9. 제8항에 있어서, 상기 (a) 단계에서 상기 이동 장치의 APP의 화상은 JPG, BMP, 또는 RAW 파일로서 송신되는, 변환 방법.
  10. 제6항에 있어서, 상기 정보 유닛은 차량에 설치되는, 변환 방법.
  11. 제10항에 있어서, 상기 정보 유닛은 차량의 인포테인먼트 시스템 또는 헤드 유닛인, 변환 방법.
  12. 제10항에 있어서, 상기 차량은, 자동차, 보트, 선박, 항공기, 레저 차량, 또는 오토바이인, 변환 방법.
KR1020130050678A 2013-03-15 2013-05-06 이동 장치의 애플리케이션을 집중 모드로 변환하는 방법 KR20140113242A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/839,258 2013-03-15
US13/839,258 US20140282127A1 (en) 2013-03-15 2013-03-15 Method of converting an application of a mobile device into a distraction-free mode

Publications (1)

Publication Number Publication Date
KR20140113242A true KR20140113242A (ko) 2014-09-24

Family

ID=51502924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130050678A KR20140113242A (ko) 2013-03-15 2013-05-06 이동 장치의 애플리케이션을 집중 모드로 변환하는 방법

Country Status (4)

Country Link
US (1) US20140282127A1 (ko)
JP (1) JP2014182784A (ko)
KR (1) KR20140113242A (ko)
CN (1) CN104050022A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249827B1 (ko) * 2014-04-21 2021-05-10 삼성전자주식회사 심볼(symbol) 생성을 위한 디스플레이 장치 및 그 제어방법
US9591117B1 (en) 2014-11-21 2017-03-07 messageLOUD LLC Method and system for communication

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2579397B2 (ja) * 1991-12-18 1997-02-05 インターナショナル・ビジネス・マシーンズ・コーポレイション 文書画像のレイアウトモデルを作成する方法及び装置
US5801689A (en) * 1996-01-22 1998-09-01 Extended Systems, Inc. Hypertext based remote graphic user interface control system
US6128667A (en) * 1996-11-12 2000-10-03 Elfnet, Inc. System and method for deferred resolution hypertext links
US7127493B1 (en) * 1998-08-20 2006-10-24 Gautier Taylor S Optimizing server delivery of content by selective inclusion of optional data based on optimization criteria
US6799196B1 (en) * 2000-01-21 2004-09-28 Gateway, Inc. On-demand data streaming parceling
CN1409237A (zh) * 2001-09-20 2003-04-09 爱达数码科技(杭州)有限公司 根据显示屏幕大小对页面进行重新布局的系统和方法
US7752633B1 (en) * 2005-03-14 2010-07-06 Seven Networks, Inc. Cross-platform event engine
US7392473B2 (en) * 2005-05-26 2008-06-24 Xerox Corporation Method and apparatus for determining logical document structure
US7917514B2 (en) * 2006-06-28 2011-03-29 Microsoft Corporation Visual and multi-dimensional search
WO2008146501A1 (ja) * 2007-05-29 2008-12-04 Sharp Kabushiki Kaisha レイアウト切替装置、移動体用画面生成装置、移動体用情報表示システム、移動体、制御方法
US8726190B2 (en) * 2007-09-28 2014-05-13 Adobe Systems Incorporated Automatically transformed graphical user interface
CN101382887A (zh) * 2008-09-19 2009-03-11 金蝶软件（中国）有限公司 一种调整界面布局的方法及装置
US20110185390A1 (en) * 2010-01-27 2011-07-28 Robert Bosch Gmbh Mobile phone integration into driver information systems
US20110257958A1 (en) * 2010-04-15 2011-10-20 Michael Rogler Kildevaeld Virtual smart phone
US20110258534A1 (en) * 2010-04-16 2011-10-20 Microsoft Corporation Declarative definition of complex user interface state changes
US9418304B2 (en) * 2011-06-29 2016-08-16 Qualcomm Incorporated System and method for recognizing text information in object
US9304662B2 (en) * 2011-08-25 2016-04-05 Vmware, Inc. User interface virtualization techniques
US9390403B2 (en) * 2012-02-09 2016-07-12 International Business Machines Corporation Augmented screen sharing in an electronic meeting

Also Published As

Publication number Publication date
CN104050022A (zh) 2014-09-17
JP2014182784A (ja) 2014-09-29
US20140282127A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
US12003584B2 (en) Mobile computing device with data cognition software
EP3821330B1 (en) Electronic device and method for generating short cut of quick command
EP2942705B1 (en) Method and device for controlling multiple displays
US9760331B2 (en) Sharing a screen between electronic devices
CN115097982B (zh) 处理内容的方法及其电子设备
EP2996015A1 (en) Method to use augmented reality to function as hmi display
US20150149925A1 (en) Emoticon generation using user images and gestures
KR102199193B1 (ko) 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
US10430040B2 (en) Method and an apparatus for providing a multitasking view
KR20170088378A (ko) 탭 기반 브라우저 콘텐츠 공유
EP2891041B1 (en) User interface apparatus in a user terminal and method for supporting the same
US20190294652A1 (en) Electronic device and operation method thereof
US20190369825A1 (en) Electronic device and method for providing information related to image to application through input unit
WO2022156606A1 (zh) 信息处理方法、装置及电子设备
EP3508998B1 (en) Electronic device, control method thereof, and computer readable recording medium
US20160378743A1 (en) Method and apparatus for insertion of text in an electronic device
US10942622B2 (en) Splitting and merging files via a motion input on a graphical user interface
KR20140113242A (ko) 이동 장치의 애플리케이션을 집중 모드로 변환하는 방법
CN105339946A (zh) 用于提供安全环境的设备和方法
KR20200117183A (ko) 메시지를 표시하는 전자 장치 및 그의 동작 방법
EP2779701B1 (en) Method Of Converting An Application Of A Mobile Device Into A Distraction-Free Mode
CN106778296B (zh) 一种访问对象的访问方法、装置及终端
US20240020367A1 (en) Method for Performing Biometric Feature Authentication When Multiple Application Interfaces are Simultaneously Displayed
US11599383B2 (en) Concurrent execution of task instances relating to a plurality of applications
KR102255369B1 (ko) 대체 서비스 제공 방법 및 그 전자 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid