KR20140028267A - 화면 디스플레이 방법 및 장치 - Google Patents

화면 디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR20140028267A
KR20140028267A KR1020120094149A KR20120094149A KR20140028267A KR 20140028267 A KR20140028267 A KR 20140028267A KR 1020120094149 A KR1020120094149 A KR 1020120094149A KR 20120094149 A KR20120094149 A KR 20120094149A KR 20140028267 A KR20140028267 A KR 20140028267A
Authority
KR
South Korea
Prior art keywords
external
image frame
property
internal
output image
Prior art date
Application number
KR1020120094149A
Other languages
English (en)
Other versions
KR102009816B1 (ko
Inventor
최영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120094149A priority Critical patent/KR102009816B1/ko
Priority to US13/956,968 priority patent/US9666167B2/en
Publication of KR20140028267A publication Critical patent/KR20140028267A/ko
Application granted granted Critical
Publication of KR102009816B1 publication Critical patent/KR102009816B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 휴대용 장치에 별개의 영상 출력 장치가 연결된 상태에서, 휴대폰 장치의 화면과 영상 출력 장치의 화면에 디스플레이될 영상을 효과적으로 관리하고 제공하기 위한 것이다. 이에 따라 본 발명은 휴대용 장치에서 출력할 영상 프레임에서 특정 서피스를 제외한 영상 프레임을 영상 출력 장치로 제공하거나, 영상 출력 장치에서만 표시될 서피스를 포함하는 영상 프레임을 구성하여 영상 출력 장치로 제공한다.

Description

화면 디스플레이 방법 및 장치{SCREEN DISPLAY METHOD AND APPARATUS}
본 발명은 휴대용 장치의 화면 디스플레이 방법 관한 것으로, 특히, 휴대용 장치에 별도의 영상 출력 장치가 연결됐을 때, 각각의 장치의 화면에 정보를 효과적으로 디스플레이하기 위한 방법 및 장치에 관한 것이다.
근자에 기술이 발전하고 있는 휴대용 장치는 여러 가지 방식으로 휴대용 장치에 연결된 개별적인 디지털 장치를 통해 각종 정보를 사용자에게 제공할 수 있다. 예를 들어, 스마트폰과 같은 휴대용 장치는 유선 케이블이나 도킹 스테이션, 근거리 무선 통신 등을 통해 IP 텔레비전과 같은 영상 출력 장치에 연결될 수 있으며, 스마트폰에서 제공하던 각종 영상을 연결된 IP 텔레비전을 통해 디스플레이할 수 있다. 이에 따라, 휴대용 장치에서 제공하는 화면보다 더 큰 화면을 통해 영상을 디스플레이함으로서, 사용자의 편의성을 증대시키고, 고품질의 서비스를 제공할 수 있다.
그리고 휴대용 장치는 표시 장치에 디스플레이되고 있는 화면을 캡쳐하여 저장할 수도 있다. 예를 들어 도1과 같이, 스마트 폰(10)은 화면 캡쳐 명령에 따라 현재 화면에 디스플레이된 전체 영상을 캡쳐 파일로 저장할 수 있다.
또한, 도2와 같이, 태블릿 PC(20)와, IP 텔레비전(30)이 케이블을 통해 연결되어 있으면, 태블릿 PC(20)에서 디스플레이되고 있는 화면과 동일한 화면이 IP 텔레비전(30)에 디스플레이될 수 있다. 또는 도3에 도시된 바와 같이, 스마트 폰(10)이 도킹 스테이션(40)을 통해 IP 텔레비전(30)에 연결된 상태에서도, 스마트 폰(10)에서 디스플레이되고 있는 화면과 동일한 화면이 IP 텔레비전(30)에 디스플레이될 수 있다.
그런데 도1과 같이 기존 휴대용 장치를 이용하여 화면 캡쳐를 실행하면 휴대용 장치에 출력되고 있는 화면이 그대로 영상 파일로 저장된다. 예를 들어, 스마트 폰(10)의 경우 특정 애플리케이션이 활성됨에 따라, 애플리케이션의 실행 영상과 이동 통신과 관련된 각종 인디케이터가 한 화면에 디스플레이되는 경우, 사용자는 애플리케이션 실행 영상만을 캡쳐하여 저장하기를 원한다 할지라도 각종 인디케이터까지 포함된 화면 전체가 캡쳐되어 저장되는 문제점이 있다.
그리고 휴대용 장치와 영상 출력 장치를 연결하게 되면, 휴대용 장치의 화면과 동일한 화면이 영상 출력 장치에 디스플레이될 뿐, 휴대용 장치와 영상 출력 장치에 상이한 화면이 디스플레이되게 할 수 없다.
또한 도킹 스테이션(40)을 통해 휴대용 장치와 영상 출력 장치를 연결한 경우, 휴대용 장치가 도킹 스테이션(40)에 장착된 방향과 동일한 디스플레이 방향을 가지는 영상이 외부 영상 장치에 디스플레이된다. 즉, 도3과 같이 스마트 폰(10)이 세로 방향으로 도킹 스테이션(40)에 장착되어 IP 텔레비전(30)에 연결된 경우, IP 텔레비전(30)이 랜드스케이프 타입의 장치임에도 불구하고, IP 텔레비전(30)으로 출력되는 영상은 스마트 폰(10)에 디스플레이된 화면 그대로의 세로 방향으로 구성된 영상이다. 이와 같은 경우, IP 텔레비전(30)에 가로 방향의 영상이 디스플레이된다면, 사용자가 영상을 좀더 자연스럽게 인지할 수 있을 것이다.
상기한 문제점을 해결하기 위해, 본 발명은 휴대용 장치에 디스플레이된 영상과 외부 영상 장치에 디스플레이되는 영상이 상이하도록 영상 프레임을 구성할 수 있는 방법 및 장치를 제공한다.
그리고 본 발명은 휴대용 장치에 디스플레이된 화면에서 일부 영상 데이터만을 저장할 수 있는 방법 및 장치를 제공한다.
한편 본 발명은, 적어도 하나의 표시 장치를 구비한 휴대용 장치의 화면 디스플레이 방법에 있어서, 화면 변경 이벤트 발생을 감지하는 과정과, 상기 휴대용 장치와 외부 영상 출력 장치의 연결 여부에 따라, 데이터를 표시하는 적어도 하나 이상의 서피스를 결정하고, 해당 서피스가 내부 출력 영상 프레임과 외부 출력 영상 프레임 중 어느 프레임을 구성하는지를 나타내는 서피스 속성을 상기 적어도 하나의 서피스 각각에 할당하는 과정과, 상기 적어도 하나 이상의 서피스를 생성하는 과정과, 상기 서피스 속성에 따라 상기 적어도 하나의 서피스를 결합하여, 상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하는 과정과, 상기 내부 출력 영상 프레임을 상기 표시 장치에 디스플레이하고, 상기 외부 출력 영상 프레임을 상기 외부 영상 출력 장치로 전달하는 과정을 포함한다.
그리고 본 발명은 휴대용 장치에 있어서, 적어도 하나의 표시 장치와, 화면 변경 이벤트 발생을 감지하고, 상기 휴대용 장치와 외부 영상 출력 장치의 연결 여부에 따라, 데이터를 표시하는 적어도 하나 이상의 서피스를 결정하고, 해당 서피스가 내부 출력 영상 프레임과 외부 출력 영상 프레임 중 어느 프레임을 구성하는지를 나타내는 서피스 속성을 상기 적어도 하나의 서피스 각각에 할당하는 제어부와, 상기 적어도 하나 이상의 서피스를 생성하고, 상기 서피스 속성에 따라 상기 적어도 하나의 서피스를 결합하여, 상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하고, 상기 내부 출력 영상 프레임을 상기 표시 장치에 디스플레이하고, 상기 외부 출력 영상 프레임을 상기 외부 영상 출력 장치로 전달하는 이미지 처리부를 포함한다.
본 발명은 휴대용 장치와 별개의 영상 출력 장치가 연결된 상태에서, 휴대용 장치에 디스플레이된 영상과 영상 출력 장치에 디스플레이되는 영상이 상이하도록 영상 프레임을 구성할 수 있다.
그리고 본 발명은 휴대용 장치의 화면을 캡쳐하여 저장할 때, 화면에 디스플레이된 전체 영상에서 일부 영상 데이터를 선택적으로 저장할 수 있다.
그리고 본 발명은 도킹 스테이션을 통해 휴대용 장치와 영상 출력 장치를 연결한 경우, 휴대용 장치가 도킹 스테이션에 장착된 방향과 상이한 디스플레이 방향을 가지는 영상이 외부 영상 장치에 디스플레이되게 할 수 있다.
도1 내지 도3은 종래의, 휴대용 장치와 영상 출력 장치의 연결 예를 나타낸 도면,
도4는 영상 프레임 생성 과정의 예를 나타낸 도면,
도5는 본 발명의 일 실시예에 따른 휴대용 장치의 구성을 나타낸 도면,
도6은 본 발명의 일 실시예에 따른 이미지 처리부의 구성을 나타낸 도면,
도7 및 도8은 본 발명의 실시예에 따른 내부 출력 프레임 및 외부 출력 프레임의 생성 과정을 나타낸 도면,
도9 내지 도12 및 도14는 본 발명의 실시예에 따른 휴대용 장치의 동작 과정을 나타낸 도면,
도13, 도15, 도16은 본 발명의 실시예에 따른 화면 디스플레이 예를 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
휴대용 장치는 하나의 화면(screen)에 여러 정보 또는 데이터를 디스플레이하기 위해, 적정 기준에 따라 상기한 여러 정보 또는 데이터를 분류하고, 분류된 각 정보 또는 데이터를 나타내기 위한 각 서피스(surface)(또는 레이어(layer))를 지정한다. 이렇게 지정된 각각의 서피스에 해당 정보 또는 데이터를 그린(draw) 후, 이들 서피스를 계층적으로 결합하여 하나의 영상 프레임을 생성하고, 표시 장치에 출력한다. 하나의 영상 프레임은 적어도 하나 이상의 서피스에 의해 구성되며, 이때, 각각의 서피스의 크기, 위치 등은 서로 동일하거나 상이할 수 있다.
이러한 예를 도4에 도시하였다. 도4는 서피스A(61), 서피스 B(62), 서피스 C(63)가 결합되어, 최종적으로 영상 프레임(65)이 생성되는 것을 나타낸 것이다. 여기서, 각각의 서피스에는 서로 다른 데이터들이 그려지게 되며, 서피스A(61)의 가시 우선순위가 가장 높고, 서피스C(63)의 가시 우선순위가 가장 낮은 것으로 가정한다. 이러한 복수의 서피스들이 가시 우선순위에 따라 계층 구조로 결합됨에 따라, 각 서피스 간에 중첩 부분에는 가시 우선순위가 가장 높은 서피스의 데이터가 표시된다.
본 발명은 휴대용 장치에 별개의 영상 출력 장치가 연결된 상태에서, 휴대폰 장치의 화면과 영상 출력 장치의 화면에 디스플레이될 영상을 효과적으로 관리하고 제공하기 위한 것이다. 이에 따라 본 발명은 휴대용 장치에서 출력할 영상 프레임에서 특정 서피스를 제외한 영상 프레임을 영상 출력 장치로 제공하거나, 영상 출력 장치에서만 표시될 서피스를 포함하는 영상 프레임을 구성하여 영상 출력 장치로 제공한다. 이렇게 휴대용 장치에서 출력할 내부 출력 프레임과, 외부의 영상 출력 장치로 전달할 외부 출력 프레임을 상이하게 구성하기 위해, 본 발명은 새로운 서피스 속성을 정의한다. 서피스 속성은 각각의 서피스마다 할당되는 속성으로, 해당 서피스가 내부 출력 프레임과 외부 출력 프레임 중 어느 프레임을 구성해야하는 서피스인지를 나타내는 속성이다. 다시 말해, 본 발명은 서피스 속성과, 외부 영상 출력 장치의 연결 여부에 따라, 적정 서피스를 결합하여 내부 출력 프레임과 외부 출력 프레임을 구성한다. 그리고 본 발명의 실시예에 따라 서피스 속성을 이용하여 휴대용 장치의 화면에 표시된 영상 프레임 중 일부 서피스를 제외한 영상 프레임이 캡쳐 저장되게 하거나, 외부 영상 출력 장치에 표시중인 영상 프레임이 캡쳐 저장되게 할 수도 있다.
이러한 본 발명을 도5 내지 도16을 참조하여 설명한다. 먼저 도5를 참조하여, 본 발명의 일 실시예에 따른 휴대용 장치의 구성을 설명한다. 도5는 본 발명의 일 실시예에 따른 휴대용 장치를 나타내는 개략적인 블록도이다.
도5를 참조하면, 장치(100)는 서브통신 모듈(130), 커넥터(165), 및 이어폰 연결잭(167)과 같은 외부 장치 연결부를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. "외부 장치"는 상기 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들(Cradle), 도킹 스테이션(Docking station), DMB 안테나, 휴대용 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 내비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 "외부 장치"는 근거리 통신에 의하여 무선으로 상기 장치(100)에 연결될 수 있는 블루투스 통신 장치, NFC(Near Field Communication) 장치와 같은 근거리 통신 장치, 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 또한, 상기 외부 장치는 다른 장치, 영상 출력 장치, 서버를 포함할 수 있다. 영상 출력 장치는 영상을 디스플레이할 수 있는 표시 장치를 포함하는 장치로서, 예를 들어, 휴대폰, 스마트폰, 태블릿PC, 데스크탑 PC, 및 텔레비전 등이 될 수 있다.
도5를 참조하면, 장치(100)는 표시 장치(190) 및 디스플레이 컨트롤러(195)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 이미지 처리부(180) 및 전원공급부(185)를 포함한다.
서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166), 및 이어폰 연결잭(167) 중 적어도 하나를 포함한다. 이하에서는 상기 표시 장치(190) 및 디스플레이 컨트롤러(195)가 각각 터치스크린 및 터치스크린 컨트롤러를 포함하는 경우를 예로 들어 설명한다.
제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(185), 터치스크린(190), 및 터치스크린 컨트롤러(195)를 제어할 수 있다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라(151)는 상기 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 장치(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166), 및 이어폰 연결잭(167) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 상기 장치(100)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 장치(100)는 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 이때 상기 외부 장치는 도킹 스테이션일 수 있고, 상기 데이터는 외부 입력 장치 예를 들면, 마우스, 키보드 등으로부터 전달된 입력 신호일 수 있다. 또한 상기 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 장치(100)에 연결될 수 있다.
센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 장치(100)에 대한 접근여부를 검출하는 근접센서(도시되지 아니함), 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor,도시되지 아니함), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter,도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
"저장부"라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원공급부(185)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(185)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다. 또한, 전원공급부(185)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 장치(100)로 공급할 수도 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.
본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉을 포함할 수 있다. 터치스크린(190)에서 검출 가능한 간격은 장치(100)의 성능 또는 구조에 따라 변경될 수 있다.
터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
이미지 처리부(180)는 본 발명의 일 실시예에 따라, 제어부(110)의 제어하에 출력 영상 프레임을 생성한다. 본 발명의 실시예에 따라, 출력 영상 프레임은 내부 출력 프레임과 외부 출력 프레임으로 구분할 수 있다. 내부 출력 프레임은 휴대용 장치(100)에서 출력되는 영상 프레임이고, 외부 출력 프레임은 휴대용 장치(100)에 연결된 별도의 영상 출력 장치로 전송되어, 영상 출력 장치에서 출력되는 영상 프레임이다.
제어부(110)는 화면 변경 이벤트가 발생하면, 화면 변경 이벤트에 대응하여 화면에 표시할 데이터를 확인하고, 휴대용 장치(100)에 별도의 영상 출력 장치가 연결되었는지를 확인하고, 이에 따라 필요한 서피스를 결정하여 이미지 처리부(180)로 전달한다.
화면 변경 이벤트는 휴대용 장치(100)의 화면을 통해 제공할 정보의 변경을 유발하는 이벤트로서, 예를 들어, 버튼(161)이나 터치스크린(190)과 같은 사용자 입력 장치를 통해 입력되는 사용자 입력, 새로운 애플리케이션의 실행 요청, 애플리케이션 실행과정에서 발생되는 새로운 정보, 이동 통신 모듈(120) 또는 서브 통신 모듈(130)을 통해 수신되는 정보 등에 의해 발생할 수 있다. 또한 화면 변경 이벤트는 외부 영상 출력 장치의 연결이 감지되어, 외부 영상 출력 장치로 영상 프레임을 전송해야할 때 발생할 수도 있다.
제어부(110)는 필요 서피스가 결정되면, 각 서피스에 서피스 속성 및 가시 우선순위를 설정한다. 서피스 속성은 해당 서피스가 내부 출력 프레임과 외부 출력 프레임 중 어느 프레임을 구성할 서피스인지를 나타내는 속성이다. 본 발명의 일 실시예에서 서피스 속성은 내부 속성, 일반 속성, 외부 속성을 포함한다. 그리고 이하의 설명에서 내부 속성을 가지는 서피스를 내부 서피스, 일반 속성을 가지는 서피스를 일반 서피스, 외부 속성을 가지는 서피스를 외부 서피스라 한다.
가시 우선순위는 서피스를 계층 구조로 결합하여 하나의 영상 프레임을 생성할 때, 각 서피스의 계층 결합 순서를 나타내는 것으로, 우선순위가 높을수록 해당 서피스는 상부에 위치한다. 그리고 가시 우선순위가 높을수록 가시성에 있어서 우선도가 높은 것을 의미한다. 즉, 복수의 서피스를 결합할 때 서피스 간에 중첩되는 부분이 존재하는 경우, 우선순위가 높은 서피스 중첩 부분에 의해 우선순위가 낮은 서피스의 중첩 부분이 가려진 것처럼 표시된다. 제어부(110)는 필요 서피스를 결정하는 과정에서 가시 우선순위를 각 서피스에 지정 수도 있고, 필요한 모든 서피스가 생성된 후에 해당 서피스에 가시 우선순위를 설정할 수도 있다.
제어부(110)는 필요 서피스와, 각 서피스의 서피스 속성 및 가시 우선순위와, 각 서피스에 그려질 데이터를 이미지 처리부(180)로 전달한다.
이미지 처리부(180)는 제어부(110)의 제어에 따라, 해당 서피스를 생성한다. 그리고 이미지 처리부(180)는 각 서피스의 서피스 속성, 가시 우선순위, 그리고 휴대용 장치(100)에 대한 별도의 영상 출력 장치의 연결 여부에 따라, 서피스들을 결합하여 외부 출력 프레임 또는 내부 출력 프레임을 생성하고, 해당 장치로 전달한다. 또한 사용자의 캡쳐 저장 요청이 있으면, 이미지 처리부(180)는 외부 출력 프레임을 저장부(175)에 저장할 수 있다.
도6을 참조하여, 본 발명의 일 실시예에 따라 영상 프레임을 생성하는 이미지 처리부(180)의 구성을 설명한다. 도6은 본 발명의 일 실시예에 따른 이미지 처리부(180)의 구성을 나타낸 도면이다. 도6을 참조하면, 이미지 처리부(180)는 서피스 생성부(210), 서피스 플링거(220), 프레임 버퍼(230)를 포함한다.
제어부(110)는 복수의 애플리케이션을 동시에 실행할 수 있으며, 이에 따라, 도5의 예에서는 두개의 애플리케이션(201,202)이 실행되는 것을 가정하였다. 그리고 제어부(110)가 가시 우선순위를 할당하는 가시 우선순위 할당기(203)를 포함하는 것으로 가정하였다. 제어부(110)는 제1애플리케이션(201) 및 제2애플리케이션(202)이 실행됨에 따른 데이터를 표시하기 위한 서피스(211,212,213,214) 및 서피스 속성을 결정하고, 가시 우선순위 할당기(203)를 통해 가시 우선순위를 지정한 다음 이를 이미지 처리부(180)로 전달한다.
서피스 생성부(210)는 제어부(110)의 제어에 따라 서피스를 생성하여 서피스 플링거(220)에게 전달한다. 도5의 예에서는, 서피스 생성부(210)가 제1애플리케이션(201)을 나타내기 위한 일반 서피스(211)와, 내부 서피스(212)와, 제2애플리케이션(202)을 나타내기 위한 외부 서피스(213)와, 일반 서피스(214)를 생성하는 경우를 도시하였다.
서피스 플링거(220)는 휴대용 장치(100)에 대한 별도의 영상 출력 장치의 연결 여부와, 각 서피스의 서피스 속성 및 가시 우선순위에 따라 내부 출력 프레임 또는 외부 출력 프레임을 생성하여 프레임 버퍼(230)에 저장한다.
본 발명의 일 실시예에서, 영상 출력 장치의 연결된 상태에서 각 서피스의 서피스 속성에 따른 내부 출력 프레임 또는 외부 출력 프레임을 생성하기 위해 각 서피스의 결합하는 규칙은 다음과 같다.
(1) 일반 서피스만 존재하는 경우 : 모든 일반 서피스를 결합한 영상 프레임이 내부 출력 프레임과 외부 출력 프레임으로 이용된다.
(2) 일반 서피스와 내부 서피스만 존재하는 경우 : 일반 서피스와 내부 서피스를 모두 결합하여 내부 출력 프레임을 생성한다. 그리고 내부 서피스를 제외한 일반 서피스를 결합하여 외부 출력 프레임을 생성한다.
(3) 일반 서피스와 외부 서피스만 존재하는 경우 : 일반 서피스만을 결합하여 내부 출력 프레임을 생성한다. 그리고 외부 서피스만을 결합하여 외부 출력 프레임을 생성한다.
(4) 일반 서피스, 내부 서피스, 외부 서피스가 존재하는 경우: 일반 서피스와, 내부 서피스만을 결합하여 내부 출력 프레임을 생성한다. 그리고 외부 서피스만을 결합하여 외부 출력 프레임을 생성한다.
프레임 버퍼(230)는 내부 출력 프레임이 저장되는 내부 프레임 버퍼(231)와 외부 출력 프레임이 저장된 외부 프레임 버퍼(232)를 포함할 수 있다. 내부 프레임 버퍼(231)에 저장된 내부 출력 프레임은 휴대용 장치(100)에 구비된 LCD와 같은 내부 표시 장치(190)로 출력되고, 외부 프레임 버퍼(232)에 저장된 외부 출력 프레임은 휴대용 장치(100)에 연결된 외부의 영상 출력 장치(300)로 출력된다.
상기와 같이 구성되는 이미지 처리부(180)의 서피스 플링거(220)가 휴대용 장치(100)에 외부 영상 출력 장치가 연결된 경우 서피스를 결합하여 영상 프레임을 생성하는 예를 도7 및 도8에 도시하였다. 도7은 서피스 플링거(220)가 하나의 내부 서피스(401)와 두개의 일반 서피스(402,403)를 결합하는 경우를 나타낸 것이고, 도8은 하나의 외부 서피스(421), 두 개의 일반 서피스(422,423)를 결합하는 경우를 나타낸 것이다
도7을 참조하면, 서피스 플링거(220)는 내부 서피스(401)와 두 개의 일반 서피스(402,403)를 모두 결합하여 제1내부 출력 프레임(411)을 생성하고, 두 개의 일반 서피스(402,403)만을 결합하여 제1외부 출력 프레임(412)을 생성한다.
그리고 도8을 참조하면, 서피스 플링거(220)는 두 개의 일반 서피스(422,423)를 결합하여 제2내부 출력 프레임(431)을 생성하고, 외부 서피스(421)만을 이용해 제2외부 출력 프레임(432)을 생성한다.
상기와 같이 구성되는 휴대용 장치(100)에서 출력 영상 프레임을 생성하는 과정을 도9내지 도12를 참조하여 설명한다.
도9는 본 발명의 일 실시예에 따라 출력 영상 프레임을 생성하는 대략적인 과정을 나타낸 것이다. 도9를 참조하면 휴대용 장치(100)의 제어부(110)는 501단계에서 화면 변경 이벤트 발생을 감지하면, 503단계로 진행하여, 외부 영상 출력 장치의 연결 여부에 따라 영상 프레임 구성에 필요한 서피스를 결정하고, 각 서피스의 서피스 속성을 설정한다.
필요 서피스는 화면에 표시할 데이터 또는 정보의 종류 및 외부 영상 출력 장치의 연결 여부에 따라 결정될 것이다. 즉, 외부 영상 출력 장치가 연결되어 있어 외부 영상 출력 장치로 영상 프레임을 출력해야한다면, 내부 속성, 일반 속성 또는 외부 속성을 가지는 서피스가 필요할 것이다.
외부 영상 출력 장치가 연결되어 있지 않다면, 외부 속성을 가지는 서피스는 필요하지 않다. 하지만 내부 속성의 경우, 화면 캡쳐 저장시 제외할 데이터를 표시하기 위해 이용될 수 있다.
또한 외부 영상 출력 장치에 연결되어 있다 하더라도, 외부 영상 출력 장치에 어떠한 화면을 디스플레이할지에 따라, 내부 속성, 일반 속성 또는 외부 속성 중 필요한 속성이 달라질 것이다. 다시 말해, 화면에 표시할 데이터(또는 정보) 중 외부의 영상 출력 장치에만 전달되거나, 휴대용 장치(100)에 구비된 표시 장치에서만 표시될 데이터(또는 정보)의 존재 여부에 따라 이용되는 서피스 속성이 결정될 수 있다. 화면을 통해 제공될 데이터 또는 정보가 내부의 표시 장치 또는 외부 출력 장치 중 어느 장치를 통해 표시되어야 하는지에 대한 기준은 저장부(175)에 미리 저장되어 있다.
이후, 505단계에서 휴대용 장치(100)의 이미지 처리부(180)는 서피스 속성에 따라 외부 서피스 또는 내부 서피스 또는 일반 서피스를 생성한다. 그리고 507단계에서 이미지 처리부(180)는 각 서피스를 적정하게 결합하여 내부 출력 프레임 또는 외부 출력 프레임 생성하여 해당 표시 장치로 출력한다.
도10은 본 발명의 일 실시예에 따라 필요 서피스를 결정하고, 생성하는 과정을 도시한 도면이다. 도10을 참조하면, 제어부(110)는 601단계에서 화면 변경 이벤트가 발생하는지 감지하여, 발생한다면 603단계로 진행한다. 603단계에서 제어부(110)는 휴대용 장치(100)가 외부의 영상 출력 장치와 연결되어 있는지 확인한다. 영상 출력 장치는 서브 통신 모듈(130)에서 지원하는 통신 방식 또는 커넥터(165)를 통해 휴대용 장치(100)에 연결될 수 있다.
603단계의 확인 결과, 외부의 영상 출력 장치와 연결되어 있지 않다면, 605단계로 진행하여, 제어부(110)는 화면 변경 이벤트에 대응하여 화면에 표시해야 하는 데이터 또는 정보를 확인하고, 확인 결과에 따라 화면 변경에 필요한 서피스 결정한다. 이때, 서피스 속성도 함께 결정된다. 이미지 처리부(180)를 제어하여, 서피스 속성 정보에 따라 일반 속성 또는 내부 속성을 가지는 서피스 생성을 생성한다. 예를 들어, 화면 변경 이벤트에 대응하여 화면에 표시해야 하는 데이터 또는 정보 중에서, 캡쳐 저장에 의해 저장되어야하는 데이터 또는 정보는 일반 서피스에 의해 표현되도록 결정되고, 캡쳐 저장에 의한 저장에서 제외될 데이터 또는 정보는 내부 서피스에 의해 표현되도록 결정될 것이다.
만약, 외부의 영상 출력 장치와 연결되어 있다면, 607단계로 진행해, 화면 변경 이벤트에 대응하여 화면에 표시해야 하는 데이터 또는 정보를 확인하고, 외부의 영상 출력 장치에 표시할 데이터(또는 정보)와 휴대용 장치(100)의 표시 장치(190)에 표시할 데이터(또는 정보)를 확인하여, 확인 결과에 따라 화면 변경에 필요한 서피스 및 서피스 속성을 결정한다. 그리고 서피스 속성 정보에 따라 일반 속성 또는 내부 속성 또는 외부 속성을 가지는 서피스를 생성한다.
그리고 제어부(110)는 609단계에서, 각 서피스에 가시 우선순위를 설정한다.
도11은 상기한 도10과 같은 과정으로 생성된 서피스를 결합하는 과정을 나타낸 도면이다. 도11의 예에서는 휴대용 장치(100)가 외부 영상 출력 장치와 연결되어, 영상 출력 장치로 영상 프레임을 전송해야하는 것으로 가정한다.
도11을 참조하면, 이미지 처리부(180)는 701단계에서 적어도 하나 이상의 서피스 각각의 서피스 속성을 확인한다. 그리고 703단계에서 모든 서피스가 일반 서피스인 경우, 705단계로 진행해, 일반 서피스를 결합하여 하나의 출력 프레임을 생성한다. 여기서 생성된 하나의 프레임은 내부 출력 프레임과 외부 출력 프레임으로 사용될 수 있는 프레임으로, 이해를 돕기 위해 이하 공용 출력 프레임이라 한다. 717단계에서 이미지 처리부(180)는 공용 출력 프레임을 표시 장치(190)와, 외부 영상 출력 장치로 출력하고, 이에 따라, 휴대용 장치(100)와 외부 영상 출력 장치에는 동일한 화면이 표시된다.
한편, 701단계 및 707단계의 확인 결과, 내부 서피스와 외부 서피스만 존재하는 경우, 709단계로 진행하여, 일반 서피스와 내부 서피스를 결합한 내부 출력 프레임을 생성하고, 일반 서피스만을 결합한 외부 출력 프레임을 생성한다. 그리고 717단계에서 이미지 처리부(180)는 내부 출력 프레임을 표시 장치(190)로 출력하고, 외부 출력 프레임을 외부 영상 출력 장치로 출력한다. 이에 따라, 휴대용 장치(100)와 외부 영상 출력 장치에는 상이한 화면이 표시된다.
다른 한편, 701단계, 707단계 및 711단계의 확인 결과, 외부 서피스와 내부 서피스만 존재하는 경우, 713단계로 진행하여, 일반 서피스만을 결합한 내부 출력 프레임을 생성하고, 외부 서피스만을 결합한 외부 출력 프레임을 생성한다. 그리고 717단계에서 이미지 처리부(180)는 내부 출력 프레임을 표시 장치(190)로 출력하고, 외부 출력 프레임을 외부 영상 출력 장치로 출력한다. 이에 따라, 휴대용 장치(100)와 외부 영상 출력 장치에는 상이한 화면이 표시된다.
만약, 701단계, 707단계 및 711단계의 확인 결과, 외부 서피스와 내부 서피스와, 일반 서피스가 모두 존재하는 경우, 715단계로 진행하여, 일반 서피스와 내부 서피스를 결합한 내부 출력 프레임을 생성하고, 외부 서피스를 결합한 외부 출력 프레임을 생성한다. 그리고 717단계에서 이미지 처리부(180)는 내부 출력 프레임을 표시 장치(190)로 출력하고, 외부 출력 프레임을 외부 영상 출력 장치로 출력한다. 이에 따라, 휴대용 장치(100)와 외부 영상 출력 장치에는 상이한 화면이 표시된다.
상기한 705단계, 709단계, 713단계, 715단계에서 출력 영상 프레임 생성시 가시 우선순위가 참조된다.
이후, 719단계에서 화면 캡쳐 요청이 있으면, 721단계에서 이미지 처리부(180)는 공용 출력 프레임 또는 외부 출력 프레임을 저장부(175)에 저장한다. 이에 따라, 화면 캡쳐를 통한 영상 프레임 저장시 제외하고자하는 데이터(또는 정보)는 내부 서피스에 포함시키고, 화면 캡쳐를 통한 영상 프레임 저장시 저장하고자하는 데이터(또는 정보)는 일반 서피스 또는 외부 서피스에 포함되도록 구성할 수 있다.
도12는 휴대용 장치(100)가 외부 영상 출력 장치와 연결되지 않은 상태에서, 상기한 도10과 같은 과정으로 생성된 서피스를 결합하는 과정을 나타낸 도면이다. 도12를 참조하면, 이미지 처리부(180)는 가시 우선순위를 참조하여 서피스를 결합하여 출력 프레임을 생성하여 출력한다. 이후, 803단계에서 파일 저장 요청이 있으면, 805단계에서 내부 서피스를 제외한 일반 서피스를 포함하는 영상 프레임을 저장부(175)에 저장한다. 즉, 화면 캡쳐를 통한 영상 프레임 저장시 제외하고자하는 데이터(또는 정보)는 내부 서피스에 포함되도록 구성될 것이다.
다음으로 도13 내지 도16을 참조하여, 구체적인 실시예에 따른 화면 표시예를 설명한다.
도13에 도시된 실시예는, 휴대용 장치(100)가 일반 서피스로 구성된 내부 출력 프레임을 디스플레이하고 있는 상태에서, 도킹 스테이션(40)을 통해 IP 텔레비전(30)과 연결됨에 따른 화면 변화를 나타낸 것이다. 이때, 휴대용 장치(100)는 도킹 스테이션(40)에 세로 방향으로 장착되는 것으로 가정하며, 도킹 스테이션(40) 연결 후 휴대용 장치(100)에서 표시 중이던 화면은 IP 텔레비전(30)을 통해 출력되고, 휴대용 장치(100)는 블랭크 화면을 디스플레이하는 것으로 가정한다. 그리고 도14는 도13의 실시예에 따른 휴대용 장치(100)의 동작 과정을 나타낸 것이다.
도13에서, 휴대용 장치(100)는 도킹 스테이션(40)에 장착되기 전에 네 개의 일반 서피스(901,902,903,904)를 포함하는 영상 프레임을 화면에 표시하고 있다.
이러한 휴대용 장치(100)를 IP 텔레비전(30)과 연결된 도킹 스테이션(40)에 장착함에 따라, 도14에서 휴대용 장치(100)의 제어부(110)는 1001단계에서 화면 변경 이벤트 발생을 감지하며, 또한 도킹 스테이션(40)에 휴대용 장치(100)가 세로 방향으로 장착되었음을 감지한다. 이에 따라, 휴대용 장치(100)는 1003단계로 진행하여 적정 화면을 출력하기 위해 필요한 서피스를 결정하게 된다.
도13의 실시예의 경우, 상기한 바와 같이, 도킹 스테이션(40) 연결 후 휴대용 장치(100)에서 표시 중이던 화면은 IP 텔레비전(30)을 통해 출력되고, 휴대용 장치(100)는 블랭크 화면을 디스플레이하는 것으로 가정했기 때문에, 1003단계에서 제어부(110)는 기존의 영상 프레임을 구성하는 서피스는 그대로 유지하고, 블랭크 화면을 표현하기 위한 내부 서피스가 필요하다고 판단한다. 이에 따라 제어부(110) 블랭크 화면을 표현하기 위해 이미지 처리부(180)를 제어하여 블랭크 화면을 나타낼 수 있는 내부 서피스(911)를 생성하고, 내부 서피스(911)에 가장 높은 가시 우선순위를 할당한다.
또한 제어부(110)는 외부 출력 프레임이 가로 디스플레이 방향으로 생성되도록 이미지 처리부(180)에게 명령한다. 휴대용 장치(100)는 도킹 스테이션(40)에 세로 방향으로 장착되는 것에 반하여, IP 텔레비전(30)은 랜드스케이프 타입의 장치이기 때문에, IP 텔레비전(30)으로 출력되는 영상 프레임은 가로 디스플레이 방향으로 구성되는 것이 바람직하다. 때문에, 휴대용 장치(100)에는 도킹 스테이션(40)에 휴대용 장치(100)가 세로 방향으로 장착되었음을 감지하면, 외부 출력 프레임이 가로 디스플레이 방향으로 생성되게 하는 셋팅값이 미리 저장될 수 있다.
이후, 1005단계에서 이미지 처리부(180)는 내부 서피스(911)와 기존의 일반 서피스(901,902,903,904)를 결합하여 내부 프레임을 생성한다. 이때, 내부 서피스(911)의 가시 우선순위가 가장 높기 때문에, 기존의 일반 서피스(901,902,903,904)는 내부 서피스(911)에 의해 가려지게 되고, 결과적으로, 휴대용 장치(100)는 블랭크 화면을 표시하게 된다.
그리고 1007단계에서 이미지 처리부(180)는 기존의 일반 서피스(901,902,903,904)를 조합한 외부 프레임을 가로 디스플레이 방향으로 생성한다.
이후, 1009단계에서 이미지 처리부(180)는 내부 출력 프레임을 휴대용 장치(100)의 표시 장치(190)로 출력하고, 외부 출력 프레임이 도킹 스테이션(40)으로 전달되게 한다.
상기한 과정에 따라, 도13과 같이, 휴대용 장치(100)를 IP 텔레비전(30)과 연결된 도킹 스테이션(40)에 장착함에 따라, 도킹 스테이션(40) 연결전 휴대용 장치(100)에서 표시중이던 화면은 IP 텔레비전(30)을 통해 출력되고, 휴대용 장치(100)는 블랭크 화면을 디스플레이한다.
상기한 도13의 실시예에서는 휴대용 장치(100)에 블랭크 화면이 출력되는 것으로 가정하였으나, 다른 실시예에서는 IP 텔레비전(30)이 출력중인 영상 데이터에 대한 설명을 나타내는 정보가 휴대용 장치(100)에 디스플레이될 수 있도록 내부 서피스(911)를 구성할 수 도 있다.
또한 본 발명의 다른 실시예에서는, 휴대용 장치(100)는 블랭크 화면을 디스플레이하더라도, 도킹 스테이션(40)을 통해 연결된IP 텔레비전(30)에는 세로 디스플레이 방향의 영상이 그대로 디스플레이될 수 있도록 외부 출력 프레임을 생성할 수도 있다.
그리고 상기한 도13의 실시예에서는 휴대용 장치(100)가 도킹 스테이션(40)에 장착되기 전에 네 개의 일반 서피스(901,902,903,904)만을 포함하는 영상 프레임을 화면에 표시하고 있었기 때문에 기존 서피스의 서피스 속성을 그대로 유지하였다. 하지만 본 발명의 다른 실시예에서는, 휴대용 장치(100)가 도킹 스테이션(40)에 장착됨에 따라, 휴대용 장치(100)가 화면에 디스플레이하고 있던 영상 프레임을 구성하는 각 서피스에 일반 속성을 할당하도록 구성할 수도 있다. 도15는 본 발명에 따른 휴대용 장치(100)의 화면 캡쳐 저장예를 나타낸 것이다. 도15에서 휴대용 장치(100)는 게임 애플리케이션 실행에 따른 화면을 표시장치(LCD)(190)에 출력하고 있는 것으로 가정한다. 그리고 게임 애플리케이션 진행과 관련된 데이터들은 모두 일반 서피스(1112)로 구성하고, 이외의 정보는 내부 서피스(1111)로 구성하는 것으로 가정한다.
때문에, 휴대용 장치(100)가 게임 애플리케이션 실행에 따른 화면을 표시장치(LCD)(190)에 출력하고 있는 중에, 화면 캡쳐에 따른 파일 저장 요청이 있으면 휴대용 장치(100)는 화면이 캡쳐되고 있음을 나타내는 "recoding"이라는 정보는 내부 서피스(1111)로 표현한다. 이에 따라, 내부 서피스(1111)와 일반 서피스(1112)를 결합한 영상 프레임이 표시장치(LCD)(190)의 출력 화면(1010)으로 제공된다. 하지만, 실제 저장되는 캡쳐 파일은 내부 서피스(1111)가 제외된 일반 서피스(1112)로 구성되는 기록화면(1020)이다.
도16에 도시된 실시예는 휴대용 장치(100)가 외부의 IP 텔레비전(30)과 연결된 상태에서 게임 애플리케이션을 실행할 때, 휴대용 장치(100)와 IP 텔레비전(30)의 화면의 예를 나타낸 것이다. 도16의 실시예는 휴대용 장치(100)가 외부의 IP 텔레비전(30)과 연결된 상태에서 게임 애플리케이션을 실행하는 경우, 휴대용 장치(100)는 게임에 대한 제어 장치로 이용되고, IP 텔레비전(30)은 게임 애플리케이션 실행에 따른 진행 화면을 표시하는 장치로 이용되는 것으로 가정한다.
이에 따라, 휴대용 장치(100)는 게임 애플리케이션의 제어를 위한 사용자 인터페이스를 나타내는 데이터는 일반 서피스로 구성하고, 게임 애플리케이션 진행에 따른 영상들은 외부 서피스로 구성한다. 그리고 휴대용 장치(100)는 일반 서피스로 구성되는 내부 출력 프레임(1121)을 생성하여 휴대용 장치(100)의 표시 장치(190)를 통해 디스플레이하고, 외부 서피스로 구성되는 외부 출력 프레임(1122)을 생성하여 IP 텔레비전(30)으로 전달하여, IP 텔레비전(30)에 게임 애플리케이션 실행에 따른 진행 화면이 표시되게 한다.
상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 예를 들어, 상기한 도5 내지 도16의 실시예에서는 서피스 속성을 일반 속성, 내부 속성, 외부 속성으로 구분하였으나, 본 발명의 따른 다른 실시예에서는 내부 속성과, 외부 속성만을 이용하여 서피스 속성을 구분할 수 있다. 이 경우, 내부 속성을 가지는 내부 서피스는 내부 출력 프레임을 구성하고, 외부 속성을 가지는 내부 서피스는 외부 출력 프레임을 구성할 것이다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.

Claims (18)

  1. 적어도 하나의 표시 장치를 구비한 휴대용 장치의 화면 디스플레이 방법에 있어서,
    화면 변경 이벤트 발생을 감지하는 과정과,
    상기 휴대용 장치와 외부 영상 출력 장치의 연결 여부에 따라, 데이터를 표시하는 적어도 하나 이상의 서피스를 결정하고, 해당 서피스가 내부 출력 영상 프레임과 외부 출력 영상 프레임 중 어느 프레임을 구성하는지를 나타내는 서피스 속성을 상기 적어도 하나의 서피스 각각에 할당하는 과정과,
    상기 적어도 하나 이상의 서피스를 생성하는 과정과,
    상기 서피스 속성에 따라 상기 적어도 하나의 서피스를 결합하여, 상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하는 과정과,
    상기 내부 출력 영상 프레임을 상기 표시 장치에 디스플레이하고, 상기 외부 출력 영상 프레임을 상기 외부 영상 출력 장치로 전달하는 과정을 포함함을 특징으로 하는 화면 디스플레이 방법.
  2. 제1항에 있어서, 상기 서피스 속성은 상기 외부 출력 영상 프레임을 구성하는 외부 서피스를 나타내는 외부 속성과, 상기 내부 출력 영상 프레임을 구성하는 내부 서피스를 나타내는 내부 속성을 포함함을 특징으로 하는 화면 디스플레이 방법.
  3. 제1항에 있어서, 상기 서피스 속성은 내부 속성, 일반 속성, 외부 속성을 포함함을 특징으로 하는 화면 디스플레이 방법.
  4. 제3항에 있어서, 상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하는 과정은
    상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 내부 속성을 가지는 내부 서피스와, 상기 일반 속성을 가지는 일반 서피스만을 포함하면, 상기 내부 서피스와 상기 일반 서피스를 결합하여 내부 출력 영상 프레임을 생성하는 단계와,
    상기 일반 서피스만을 결합하여 외부 출력 영상 프레임을 생성하는 단계를 포함함을 특징으로 하는 화면 디스플레이 방법.
  5. 제 3항에 있어서,
    상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하는 과정은,
    상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 외부 속성을 가지는 외부 서피스와, 상기 일반 속성을 가지는 일반 서피스만을 포함하면, 상기 일반 서피스만을 결합하여 내부 출력 영상 프레임을 생성하는 단계와,
    상기 외부 서피스만을 결합하여 외부 출력 영상 프레임을 생성하는 단계를 포함함을 특징으로 하는 화면 디스플레이 방법.
  6. 제3항에 있어서,
    상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하는 과정은,
    상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 외부 속성을 가지는 외부 서피스와, 상기 일반 속성을 가지는 일반 서피스와, 상기 내부 속성을 가지는 내부 서피스를 포함하면, 상기 일반 서피스와 상기 내부 서피스만을 결합하여 내부 출력 영상 프레임을 생성하는 단계와,
    상기 외부 서피스만을 결합하여 외부 출력 영상 프레임을 생성하는 단계를 포함함을 특징으로 하는 화면 디스플레이 방법.
  7. 제4 내지 제6항 중 어느 한 항에 있어서, 캡쳐 저장 요청이 있으면, 상기 외부 출력 영상 프레임을 파일 저장하는 과정을 더 포함함을 특징으로 하는 화면 디스플레이 방법.
  8. 제3항에 있어서,
    상기 휴대용 장치가 상기 외부 영상 출력 장치와 연결된 도킹 스테이션에 장착됨에 따라, 상기 화면 변경 이벤트가 발생되고,
    서피스 속성을 상기 적어도 하나의 서피스 각각에 할당하는 과정은,
    상기 도킹 스테이션에 상기 휴대용 장치가 장착되기 전에 상기 휴대용 장치에서 디스플레이하고 있던 서피스에는 상기 일반 속성을 할당하는 단계와,
    블랭크 화면을 표시하기 위한 서피스에 내부 속성 및 가장 높은 가시 우선순위를 할당하는 단계를 포함함을 특징으로 하는 화면 디스플레이 방법.
  9. 제8항에 있어서, 상기 외부 출력 영상 프레임을 생성하는 과정은
    상기 휴대용 장치가 상기 도킹 스테이션에 세로 방향으로 장착되면, 상기 외부 출력 영상 프레임을 가로 디스플레이 방향으로 생성하는 단계를 더 포함함을 특징으로 하는 화면 디스플레이 방법.
  10. 휴대용 장치에 있어서,
    적어도 하나의 표시 장치와,
    화면 변경 이벤트 발생을 감지하고, 상기 휴대용 장치와 외부 영상 출력 장치의 연결 여부에 따라, 데이터를 표시하는 적어도 하나 이상의 서피스를 결정하고, 해당 서피스가 내부 출력 영상 프레임과 외부 출력 영상 프레임 중 어느 프레임을 구성하는지를 나타내는 서피스 속성을 상기 적어도 하나의 서피스 각각에 할당하는 제어부와,
    상기 적어도 하나 이상의 서피스를 생성하고, 상기 서피스 속성에 따라 상기 적어도 하나의 서피스를 결합하여, 상기 내부 출력 영상 프레임 및 상기 외부 출력 영상 프레임을 생성하고, 상기 내부 출력 영상 프레임을 상기 표시 장치에 디스플레이하고, 상기 외부 출력 영상 프레임을 상기 외부 영상 출력 장치로 전달하는 이미지 처리부를 포함함을 특징으로 하는 휴대용 장치.
  11. 제10항에 있어서, 상기 서피스 속성은 상기 외부 출력 영상 프레임을 구성하는 외부 서피스를 나타내는 외부 속성과, 상기 내부 출력 영상 프레임을 구성하는 내부 서피스를 나타내는 내부 속성을 포함함을 특징으로 하는 휴대용 장치.
  12. 제10항에 있어서, 상기 서피스 속성은 내부 속성, 일반 속성, 외부 속성을 포함함을 특징으로 하는 휴대용 장치.
  13. 제12항에 있어서, 상기 이미지 처리부는 상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 내부 속성을 가지는 내부 서피스와, 상기 일반 속성을 가지는 일반 서피스만을 포함하면, 상기 내부 서피스와 상기 일반 서피스를 결합하여 내부 출력 영상 프레임을 생성하고, 상기 일반 서피스만을 결합하여 외부 출력 영상 프레임을 생성함을 특징으로 하는 휴대용 장치.
  14. 제12항에 있어서,
    상기 이미지 처리부는 상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 외부 속성을 가지는 외부 서피스와, 상기 일반 속성을 가지는 일반 서피스만을 포함하면, 상기 일반 서피스만을 결합하여 내부 출력 영상 프레임을 생성하고, 상기 외부 서피스만을 결합하여 외부 출력 영상 프레임을 생성함을 특징으로 하는 휴대용 장치.
  15. 제12항에 있어서,
    상기 이미지 처리부는 상기 휴대용 장치와 상기 외부 영상 출력 장치가 연결되어 있고, 상기 적어도 하나의 서피스가 상기 외부 속성을 가지는 외부 서피스와, 상기 일반 속성을 가지는 일반 서피스와, 상기 내부 속성을 가지는 내부 서피스를 포함하면, 상기 일반 서피스와 상기 내부 서피스만을 결합하여 내부 출력 영상 프레임을 생성하고, 상기 외부 서피스만을 결합하여 외부 출력 영상 프레임을 생성함을 특징으로 하는 휴대용 장치.
  16. 제 13내지 제15항 중 어느 한 항에 있어서, 캡쳐 저장 요청이 있으면, 상기 외부 출력 영상 프레임을 파일 저장함을 특징으로 하는 휴대용 장치.
  17. 제13항에 있어서,
    상기 제어부는 상기 휴대용 장치가 상기 외부 영상 출력 장치와 연결된 도킹 스테이션에 장착됨에 따라, 상기 화면 변경 이벤트의 발생을 감지하고, 상기 도킹 스테이션에 상기 휴대용 장치가 장착되기 전에 상기 휴대용 장치에서 디스플레이하고 있던 서피스에는 상기 일반 속성을 할당하고, 블랭크 화면을 표시하기 위한 서피스에 내부 속성 및 가장 높은 가시 우선순위를 할당함을 특징으로 하는 휴대용 장치.
  18. 제17항에 있어서, 상기 이미지 처리부는 상기 휴대용 장치가 상기 도킹 스테이션에 세로 방향으로 장착되면, 상기 외부 출력 영상 프레임을 가로 디스플레이 방향으로 생성함을 특징으로 하는 휴대용 장치.
KR1020120094149A 2012-08-28 2012-08-28 화면 디스플레이 방법 및 장치 KR102009816B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120094149A KR102009816B1 (ko) 2012-08-28 2012-08-28 화면 디스플레이 방법 및 장치
US13/956,968 US9666167B2 (en) 2012-08-28 2013-08-01 Apparatus and method for displaying screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120094149A KR102009816B1 (ko) 2012-08-28 2012-08-28 화면 디스플레이 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140028267A true KR20140028267A (ko) 2014-03-10
KR102009816B1 KR102009816B1 (ko) 2019-08-12

Family

ID=50186934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120094149A KR102009816B1 (ko) 2012-08-28 2012-08-28 화면 디스플레이 방법 및 장치

Country Status (2)

Country Link
US (1) US9666167B2 (ko)
KR (1) KR102009816B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6966201B2 (ja) * 2014-07-03 2021-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波ワークステーション用のポータブル超音波インタフェース
US20160282906A1 (en) * 2015-03-27 2016-09-29 Panasonic Intellectual Property Management Co., Ltd. Transaction processing system, transaction processing method and transaction equipment
CN114449091B (zh) * 2017-06-13 2023-04-04 华为技术有限公司 一种显示方法及装置
KR102563314B1 (ko) 2018-08-30 2023-08-04 삼성전자주식회사 전자 장치 및 단축 명령어의 바로가기 생성 방법
US11856289B1 (en) * 2023-06-12 2023-12-26 Yes Yes Media Limited Portable media capture device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073841A (ko) * 2008-12-23 2010-07-01 엘지노텔 주식회사 화면 공유 방법
JP2012113746A (ja) * 2006-11-23 2012-06-14 Samsung Electronics Co Ltd イメージ内の選択領域を一括格納する装置およびイメージ情報の文書化装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024812A1 (en) * 2011-07-13 2013-01-24 Z124 Foreground/background assortment of hidden windows
US7715595B2 (en) * 2002-01-16 2010-05-11 Iritech, Inc. System and method for iris identification using stereoscopic face recognition
JP4585926B2 (ja) * 2005-06-17 2010-11-24 株式会社日立ハイテクノロジーズ パターンレイヤーデータ生成装置、それを用いたパターンレイヤーデータ生成システム、半導体パターン表示装置、パターンレイヤーデータ生成方法、及びコンピュータプログラム
US20070077784A1 (en) * 2005-08-01 2007-04-05 Universal Electronics Inc. System and method for accessing a user interface via a secondary device
US7937451B2 (en) * 2007-01-08 2011-05-03 Mspot, Inc. Method and apparatus for transferring digital content from a computer to a mobile handset
CA2621744C (en) * 2007-09-13 2016-10-04 Research In Motion Limited System and method for interfacing between a mobile device and a personal computer
TW201020904A (en) * 2008-11-19 2010-06-01 Mstar Semiconductor Inc Data output system for mobile device and data output method thereof
US20100259464A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
JP5515671B2 (ja) * 2009-11-20 2014-06-11 ソニー株式会社 画像処理装置、その制御方法およびプログラム
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
JP2011147109A (ja) * 2009-12-16 2011-07-28 Canon Inc 撮像装置及び画像処理装置
US8572303B2 (en) * 2010-02-03 2013-10-29 Tal Lavian Portable universal communication device
WO2012020866A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US8723886B2 (en) * 2010-09-08 2014-05-13 Navteq B.V. Generating a multi-layered geographic image and the use thereof
WO2012102416A1 (en) * 2011-01-24 2012-08-02 Lg Electronics Inc. Data sharing between smart devices
US20120206372A1 (en) * 2011-02-10 2012-08-16 Kevin Mundt Method and system for flexible use of tablet information handling system resources
US8462018B1 (en) * 2011-05-26 2013-06-11 Rockwell Collins, Inc. Systems and method for controlling the simultaneous display of multi-level classified information on the same surface of an aircraft display unit
JP5376685B2 (ja) * 2011-07-13 2013-12-25 Ｎｅｃビッグローブ株式会社 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113746A (ja) * 2006-11-23 2012-06-14 Samsung Electronics Co Ltd イメージ内の選択領域を一括格納する装置およびイメージ情報の文書化装置
KR20100073841A (ko) * 2008-12-23 2010-07-01 엘지노텔 주식회사 화면 공유 방법

Also Published As

Publication number Publication date
US20140063066A1 (en) 2014-03-06
US9666167B2 (en) 2017-05-30
KR102009816B1 (ko) 2019-08-12

Similar Documents

Publication Publication Date Title
US10123366B2 (en) Wireless connection method, machine-readable storage medium and electronic device using out-of-band channel
US10893092B2 (en) Electronic device for sharing application and control method thereof
US10055115B2 (en) Electronic device and method for controlling multi-windows in the electronic device
KR101990567B1 (ko) 외부 입력 장치와 결합된 모바일 장치 및 그 제어 방법
KR102064836B1 (ko) 모바일 장치에서의 메뉴 표시 장치 및 방법
US10419520B2 (en) Method of sharing electronic document and devices for the same
US9514512B2 (en) Method and apparatus for laying out image using image recognition
US10019219B2 (en) Display device for displaying multiple screens and method for controlling the same
US20180329598A1 (en) Method and apparatus for dynamic display box management
KR20140111088A (ko) 문지르기 제스처를 검출하여 미리보기를 제공하는 모바일 장치 및 그 제어 방법
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
US20150012855A1 (en) Portable device for providing combined ui component and method of controlling the same
US20140337769A1 (en) Method and apparatus for using electronic device
WO2021037074A1 (zh) 音频输出方法及电子设备
CN105103104A (zh) 用户界面显示方法及其设备
KR102009816B1 (ko) 화면 디스플레이 방법 및 장치
US9261996B2 (en) Mobile terminal including touch screen supporting multi-touch input and method of controlling the same
US20150007036A1 (en) Electronic device for sharing question message and method of controlling the electronic device
US10146342B2 (en) Apparatus and method for controlling operation of an electronic device
CN103809872A (zh) 具有视差滚动功能的移动装置和控制所述移动装置的方法
KR20140110646A (ko) 사용자 단말 및 사용자 단말에서 화면 표시 방법
US20140195990A1 (en) Mobile device system providing hybrid widget and associated control
KR20140131051A (ko) 압력 센서를 포함하는 전자 장치 및 그 제어 방법
KR20140113032A (ko) 휴대단말기의 표시화면을 표시하는 방법 및 장치
KR20150043755A (ko) 전자 장치, 전자 장치의 표시 방법 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant