KR100643470B1 - 휴대용 단말기의 그래픽 신호 표시장치 및 방법 - Google Patents

휴대용 단말기의 그래픽 신호 표시장치 및 방법 Download PDF

Info

Publication number
KR100643470B1
KR100643470B1 KR1020050091246A KR20050091246A KR100643470B1 KR 100643470 B1 KR100643470 B1 KR 100643470B1 KR 1020050091246 A KR1020050091246 A KR 1020050091246A KR 20050091246 A KR20050091246 A KR 20050091246A KR 100643470 B1 KR100643470 B1 KR 100643470B1
Authority
KR
South Korea
Prior art keywords
subject
graphic signal
graphic
screen
camera
Prior art date
Application number
KR1020050091246A
Other languages
English (en)
Inventor
윤정석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050091246A priority Critical patent/KR100643470B1/ko
Priority to EP06011239A priority patent/EP1770487A2/en
Priority to US11/421,695 priority patent/US20070070037A1/en
Priority to JP2006177021A priority patent/JP2007095030A/ja
Priority to CNA2006101100727A priority patent/CN1941847A/zh
Application granted granted Critical
Publication of KR100643470B1 publication Critical patent/KR100643470B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대용 단말기가 소정의 그래픽 신호를 화면에 표시할 경우에 카메라가 촬영하는 피사체의 움직임을 검출하고, 검출한 피사체의 움직임에 따라 그래픽 신호를 이동시켜 표시한다.
본 발명은 화면에 소정의 그래픽 신호를 표시할 경우에 카메라가 소정의 피사체를 촬영한다. 카메라가 촬영한 영상에서 피사체의 특징점들을 추출하고, 추출한 특정점들을 이용하여 피사체의 움직임을 검출한다. 검출한 피사체의 움직임에 따라 화면에 표시된 그래픽 신호를 이동, 확대, 축소 또는 회전시켜 표시한다.
그러므로 사용자는 화면에 표시된 그래픽 신호를 일일이 조작할 필요가 없이 휴대용 단말기의 움직임 또는 피사체의 움직임만으로 스크롤, 확대, 축소 또는 회전시켜 볼 수 있다.
단말기, 그래픽, 카메라, 움직임, 스크롤, 줌인, 줌아웃,

Description

휴대용 단말기의 그래픽 신호 표시장치 및 방법{Apparatus and method for displaying graphic signal in portable terminal}
도 1은 본 발명의 표시장치의 구성을 보인 블록도.
도 2는 본 발명의 표시방법을 보인 신호흐름도.
도 3은 본 발명의 표시방법에서 피사체의 움직임을 판단하는 동작을 보인 신호흐름도.
도 4는 본 발명의 표시방법에서 화면에 표시된 그래픽 신호를 피사체의 움직임에 따라 표시하는 동작을 보인 신호흐름도.
*도면의 주요부분에 대한 부호의 설명*
100 : 카메라 110 : 움직임 검출수단
111 : 특징점 추출부 113 : 버퍼
115 : 움직임 판단부 120 : 제어부
130 : 그래픽부 140 : 표시부
본 발명은 이동통신 단말기 및 PDA(Personal Digital Assistants) 등과 같은 각종 휴대용 단말기에서 화면에 표시하는 3차원 그래픽 신호, 웹 문서 등을 비롯한 각종 그래픽 신호를, 휴대용 단말기에 일체로 구비되어 있는 카메라가 촬영하는 피사체의 움직임에 따라 스크롤, 줌인, 줌 아웃 또는 회전시키는 휴대용 단말기의 그래픽 신호 표시장치 및 방법에 관한 것이다.
정보통신 기술 분야의 눈부신 발전과 더불어 통신환경이 급격한 변화를 맞이하고 있다. 특히 휴대가 간편한 이동통신 단말기나 PDA 등과 같은 휴대용 단말기의 사용이 급격히 증가하고 있다.
그리고 휴대용 단말기의 사용 증가와 함께 사용자들에게 편리함을 제공하기 위한 각종 새로운 서비스 기능들이 부가되고, 그에 대한 연구도 꾸준히 진행되고 있다.
최근에는 휴대용 단말기로 전화통화는 물론 게임과, 메시지의 송신 및 수신과, 데이터의 저장 기능과, 날씨정보 및 증권정보 등과 같은 각종 문자 서비스 수신 등의 서비스를 이용할 수 있게 되었다. 또한 휴대용 단말기에 카메라를 일체로 구비하여 소정의 피사체를 촬영하고, 촬영한 피사체를 화면을 통해 확인할 수도 있다.
그리고 휴대용 단말기의 밴드폭(bandwidth)이 넓게 확장됨에 따라 휴대용 단말기에서 무선으로 인터넷에 접속하여 각종 정보를 취득할 수 있게 되었고, 실시간으로 취득할 수 있는 정보의 양에 비약적으로 증가하고 있다.
이와 같이 휴대용 단말기에서 제공받을 수 있는 기능이 다양화됨에 따라 휴대용 단말기의 화면에 표시되어야 하는 그래픽도 다양화되고 있다.
그러나 휴대용 단말기는 간편하게 휴대할 수 있도록 해야 한다는 제약 조건으로 인하여 소정의 그래픽 신호를 표시할 수 있는 화면의 크기는 수 인치 이내로 제한되어 있다.
다양한 종류의 그래픽 신호의 표시 크기가 화면의 크기보다 클 경우에 그래픽 신호를 하나의 화면에 모두 표시하지 못하게 된다. 이러한 경우에 종래에는 화면의 우측이나 하단 등의 적당한 부위에 스크롤 바를 함께 표시하고 있다. 그리고 사용자가 키패드 또는 스타일러스(stylus)를 이용하여 스크롤 바를 상하좌우로 이동시킴에 따라 휴대용 단말기는 화면에 표시된 그래픽 신호를 상하좌우로 이동시키고 있다.
그러나 상기한 종래의 기술은 사용자가 일일이 키패드 또는 스타일러스로 스크롤 바를 조절해야 되므로 사용자에게 많은 불편과 번거로움을 주는 문제점이 있었다.
그러므로 본 발명의 목적은 휴대용 단말기에 구비되어 있는 카메라가 촬영하는 피사체의 움직임을 검출하고, 검출한 피사체의 움직임에 따라 화면에 표시되는 그래픽 신호를 자동으로 스크롤, 줌인, 줌 아웃, 회전 또는 이동시키는 그래픽 신호의 표시장치 및 방법을 제공하는데 있다.
이러한 목적을 가지는 본 발명은 화면에 소정의 그래픽 신호를 표시할 경우에 카메라를 구동시켜 소정의 피사체를 촬영하게 한다. 상기 카메라가 촬영한 영상 에서 피사체의 특징점들을 추출하고, 추출한 특정점들을 이용하여 피사체의 움직임을 검출한다. 상기 피사체의 움직임 검출은 피사체의 상하 또는 좌우 이동 및 이동 거리와, 피사체의 줌 인 및 확대 비율과, 피사체의 줌 아웃 및 축소 비율과, 피사체의 상하 또는 좌우 회전방향 및 회전각도를 검출한다.
피사체의 움직임이 검출될 경우에 그 검출된 피사체의 움직임에 따라 화면에 표시된 그래픽 신호를 이동, 확대, 축소 또는 회전시켜 표시한다.
그러므로 본 발명의 표시장치는 피사체를 촬영하는 카메라와, 상기 카메라가 촬영한 피사체의 움직임을 검출하는 움직임 검출수단과, 외부에서 입력되는 그래픽 신호를 처리하여 표시부의 화면에 표시하는 그래픽부와, 상기 움직임 검출수단이 검출한 피사체의 움직임에 따라 상기 그래픽부를 제어하여 화면에 표시하는 그래픽 신호를 이동시키는 제어부로 구성됨을 특징으로 한다.
상기 움직임 검출수단은, 상기 카메라가 촬영한 피사체의 특징점을 추출하는 특징점 추출부와, 상기 특징점 추출부가 추출한 특징점을 저장하는 버퍼와, 상기 버퍼에 저장된 이전 피사체의 특징점과 상기 특징점 추출부가 추출한 현재 피사체의 특징점을 비교하여 피사체의 움직임을 판단하는 움직임 판단부로 구성됨을 특징으로 한다.
상기 움직임 판단부는 피사체의 움직임 방향 및 움직임 각도를 판단하는 것을 특징으로 한다.
그리고 본 발명의 표시방법은 카메라가 촬영한 영상에서 특징점 추출부가 특징점을 추출하는 단계와, 상기 특징점 추출부가 추출한 이전 영상의 특징점과 현재 영상의 특징점을 움직임 판단부가 비교하여 피사체의 움직임을 판단하는 단계와, 상기 판단한 피사체의 움직임에 따라 그래픽부가 그래픽 신호를 화면에 표시하는 단계로 이루어지는 것을 특징으로 한다.
상기 움직임 판단단계는 피사체의 상하 또는 좌우 이동이 판단될 경우에 피사체의 이동거리를 판단하고, 상기 그래픽 신호의 표시단계는 상기 판단한 이동거리만큼 그래픽 신호를 이동시켜 화면에 표시하는 것으로 상기 그래픽 신호의 이동은 상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 이동 반대방향으로 그래픽 신호를 이동시키고, 상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 이동 방향으로 그래픽 신호를 이동시키는 것을 특징으로 한다.
또한 상기 움직임 판단단계는 피사체의 줌 인 또는 줌 아웃이 판단될 경우에 피사체의 확대 또는 축소 비율을 판단하고, 상기 그래픽 신호의 표시단계는 상기 판단한 확대 또는 축소 비율에 따라 그래픽 신호를 확대 또는 축소시켜 화면에 표시하는 것으로 상기 그래픽 신호의 확대 또는 축소는 상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 줌 인에 따라 그래픽 신호를 확대 표시하고, 피사체의 줌 아웃에 따라 그래픽 신호를 축소 표시하고, 상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 줌 인에 따라 그래픽 신호를 축소 표시하고, 피사체의 줌 아웃에 따라 그래픽 신호를 확대 표시하는 것을 특징으로 한다.
또한 상기 움직임 판단단계는 피사체의 회전이 판단될 경우에 피사체의 회전 각도를 판단하고, 상기 그래픽 신호의 표시단계는 상기 판단한 회전각도에 따라 그래픽 신호를 회전시켜 화면에 표시하는 것으로서 상기 그래픽 신호의 회전은 상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 회전방향과 동일한 방향으로 그래픽 신호를 회전시키고, 상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 회전 방향과 반대 방향으로 그래픽 신호를 회전시키는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 그래픽 신호의 표시장치 및 방법을 상세히 설명한다.
도 1은 본 발명의 표시장치의 구성을 보인 블록도이다. 여기서, 부호 100은 카메라이다. 상기 카메라(100)는 휴대용 단말기에 일체로 구비되어 소정의 피사체를 촬영한다. 여기서, 본 발명은 상기 카메라(100)가 휴대용 단말기의 화면과 동일한 면에 설치되어 있다고 가정한다.
부호 110은 상기 카메라(100)가 촬영한 피사체의 움직임을 검출하는 움직임 검출수단이다.
상기 움직임 검출수단(110)은 특징점 추출부(111), 버퍼(113) 및 움직임 판단부(115)로 이루어진다.
상기 특징점 추출부(111)는 상기 카메라(100)가 촬영한 피사체의 영상에서 복수의 특징점들을 추출한다. 예를 들면, 상기 카메라(100)가 촬영한 피사체가 사람의 얼굴일 경우에 상기 특징점 추출부(111)는 사람의 얼굴에서 눈, 코, 입 등의 특징점을 추출한다. 또한 상기 카메라(100)가 촬영한 피사체가 사람의 얼굴이 아닌 소정의 물건 등일 경우에 그 물건의 모서리 부위나, 명암이 확실하게 구분되는 부위 등을 특징점으로 추출한다.
상기 버퍼(113)는 상기 특징점 추출부(111)가 추출한 영상의 특징점을 저장한다.
상기 움직임 판단부(115)는 상기 버퍼(113)에 저장된 이전 영상의 특징점과 상기 특징점 추출부(111)가 추출하는 현재 영상의 특징점의 위치를 비교하고, 비교 결과에 따라 피사체의 움직임을 판단한다. 즉, 움직임 판단부(115)는 이전 영상과 현재 영상의 특징점을 비교하여 피사체의 이동방향 및 이동거리와, 줌인 및 확대비율과, 줌 아웃 및 축소비율과, 회전방향 및 회전거리를 판단한다.
부호 120은 제어부이다. 상기 제어부(120)는 상기 카메라(100)를 구동시켜 소정의 피사체를 촬영하는 것을 제어한다. 또한 상기 제어부(120)는 상기 움직임 검출수단(110)의 움직임 판단부(115)가 판단한 피사체의 움직임에 따라 화면에 표시되는 그래픽 신호를 표시하는 것을 제어한다. 예를 들면, 제어부(120)는 움직임 판단부(115)가 판단한 피사체의 이동방향 및 이동거리와, 줌인 및 확대비율과, 줌 아웃 및 축소비율과, 회전방향 및 회전거리에 따라 그래픽 신호를 이동, 확대, 축소, 또는 회전시켜 표시하는 것을 제어한다.
부호 130은 그래픽부이다. 상기 그래픽부(130)에는 휴대용 단말기 내의 저장부(도면에 도시되지 않았음)에 저장되어 있거나 또는 인터넷 등을 통해 외부로부터 다운로드받은 3차원 영상, 게임, 웹 문서 등을 비롯한 각종 그래픽 신호를 그래픽 처리한 후 표시부(140)로 출력하여 화면에 표시한다. 또한 상기 그래픽부(130)는 표시부(140)의 화면에 표시한 그래픽 신호를 상기 제어부(120)의 제어에 따라 이동, 확대, 축소, 또는 회전시켜 표시한다.
이러한 구성을 가지는 본 발명의 표시장치는 그래픽부(130)가 외부로부터 입력되는 그래픽 신호를 처리한 후 표시부(140)로 출력하여 화면에 그래픽 신호를 표시하게 된다.
이와 같은 상태에서 제어부(120)는 카메라(100)를 구동시킨다. 그러면, 카메라(100)는 소정의 피사체를 촬영하고, 촬영한 소정 피사체의 영상을 출력하여 움직임 검출수단(110)의 특징점 추출부(111)로 입력된다.
상기 특징점 추출부(111)는 입력되는 피사체의 영상에서 소정의 특정점들을 추출한다. 예를 들면, 피사체가 사람의 얼굴일 경우에 눈, 코, 입 등의 특징점을 추출한다. 그리고 피사체가 소정의 물건 등일 경우에 그 물건의 모서리 부위나, 명암이 확실하게 구분되는 점 부위 등을 특징점으로 추출한다. 여기서, 피사체의 특징점을 추출하는 것은 널리 알려져 있는 것으로서 구체적인 동작은 생략한다.
상기 특징점 추출부(111)가 추출한 소정 영상의 특징점은 버퍼(113)에 저장되고, 특징점 추출부(111)는 다음 영상의 특징점을 추출하는 동작을 반복 수행하는 것으로서 버퍼(113)에는 카메라(100)가 촬영한 이전 영상의 특징점이 저장되고, 특징점 추출부(111)는 카메라(100)가 촬영한 현재 영상의 특징점을 추출하여 출력하게 된다.
그리고 상기 버퍼(113)에 저장된 이전 영상의 특징점과 특징점 추출부(111)가 추출하는 현재 영상의 특징점은 움직임 판단부(115)로 입력된다. 그러면, 상기 움직임 판단부(115)는 입력된 이전 영상의 특징점과 현재 영상의 특징점의 위치를 비교하고, 비교 결과 특징점들의 위치 변화로 피사체의 움직임을 판단한다.
예를 들면, 사용자가 휴대용 단말기를 손으로 잡고, 좌우로 이동시킬 경우에 카메라(100)가 촬영하는 피사체가 좌우로 이동되어 특징점이 좌우로 이동된다. 상기 움직임 판단부(115)는 특징점들이 좌우 방향으로 이동될 경우에 피사체가 좌우로 이동되었음을 판단하고, 좌우로 이동된 이동거리를 검출한다.
휴대용 단말기를 상하로 이동시킬 경우에 카메라(100)가 촬영하는 피사체가 상하로 이동되어 특징점이 상하로 이동된다. 상기 움직임 판단부(115)는 특징점들이 상하 방향으로 이동될 경우에 피사체가 상하로 이동되었음을 판단하고, 상하로 이동된 이동거리를 검출한다.
휴대용 단말기를 피사체의 방향으로 전진시킬 경우에 카메라(100)가 촬영하는 피사체가 확대되어 특징점들 사이의 간격이 전체적으로 확대된다. 상기 움직임 판단부(115)는 특징점들 사이의 간격이 전체적으로 넓어질 경우에 피사체의 줌 인으로 판단하고, 피사체의 확대 비율을 검출한다.
휴대용 단말기를 피사체의 반대방향으로 후진시킬 경우에 카메라(100)가 촬영하는 피사체가 축소되어 특징점들 사이의 간격이 전체적으로 축소된다. 상기 움직임 판단부(115)는 특징점들 사이의 간격이 전체적으로 축소될 경우에 피사체의 줌 아웃을 판단하고, 피사체의 축소 비율을 검출한다.
휴대용 단말기를 좌우 방향으로 회전시킬 경우에 특징점들의 상하 폭 변화는 없고, 좌우 폭 변화만이 발생한다. 또한 휴대용 단말기를 좌우 회전에 따라 중간부 에 위치하는 특징점을 기준으로 하여 좌측에 위치하는 특징점들의 좌우 폭 변화와 우측에 위치하는 특징점들의 좌우 폭 변화가 상이하게 된다. 상기 움직임 판단부(115)는 특징점들의 좌우 폭 변화가 발생할 경우에 좌측 특징점들의 좌우 폭 변화와 우측 특징점들의 좌우 폭 변화로 좌우 회전방향을 판단하고, 회전각도를 검출한다.
휴대용 단말기를 상하 방향으로 회전시킬 경우에 특징점들의 상하 폭 변화가 발생하고, 좌우 폭 변화는 발생하지 않는다. 또한 휴대용 단말기를 상하 회전에 따라 중간부에 위치하는 특징점을 기준으로 하여 상부에 위치하는 특징점들의 상하 폭 변화와 하부에 위치하는 특징점들의 상하 폭 변화가 상이하게 된다. 상기 움직임 판단부(115)는 특징점들의 상하 폭 변화가 발생할 경우에 상부 특징점들의 상하 폭 변화와 하부 특징점들의 상하 폭 변화로 상하 회전방향을 판단하고, 회전각도를 검출한다.
이와 같이 상기 움직임 판단부(115)가 판단한 피사체의 움직임은 제어부(120)로 입력된다. 그러면, 제어부(120)는 상기 움직임 판단부(115)가 판단한 피사체의 움직임에 따라 그래픽부(130)를 제어하여 그래픽부(130)가 피사체의 움직임에 따라 그래픽 신호를 스크롤, 줌인, 줌 아웃 또는 회전시켜 표시부(140)의 화면에 표시한다.
도 2는 본 발명의 표시방법을 보인 신호흐름도이다. 외부로부터 그래픽신호가 입력될 경우에 그래픽부(130)가 상기 그래픽 신호를 처리하고, 표시부(140)로 출력하여 화면에 표시한다(S200). 여기서, 상기 그래픽 신호는 사용자의 조작에 따 라 다양하게 입력될 수 있다. 예를 들면, 휴대용 단말기로 인터넷에 접속하여 다운로드받는 웹 문서를 비롯하여 3차원 영상, 게임이나, 사용자가 카메라로 촬영한 디지털 사진 등을 비롯하여 여러 종류의 그래픽 신호가 입력될 수 있다.
상기 그래픽부(130)가 표시부(140)의 화면에 그래픽 신호를 표시할 경우에 제어부(120)는 카메라(100)를 구동시켜 소정의 피사체를 촬영하게 한다(S202). 상기 카메라(100)가 촬영한 소정 피사체의 영상은 특징점 추출부(111)로 입력된다.
상기 특징점 추출부(111)는 상기 입력되는 소정 피사체의 영상에서 특징점들을 추출하고, 추출한 특징점들을 버퍼(113)에 저장하는 동작을 소정 피사체의 영상이 입력됨에 따라 반복 수행한다(S204).
그러면, 상기 버퍼(113)에는 상기 카메라(100)가 촬영한 이전 영상의 특징점들이 저장되고, 상기 특징점 추출부(111)는 카메라(100)가 촬영한 현재 영상의 특징점들이 저장된다.
이와 같은 상태에서 움직임 판단부(115)는 상기 버퍼(113)에 저장된 이전 영상의 특징점들과 상기 특징점 추출부(111)가 출력하는 현재 영상의 특징점들을 비교하고(S206), 비교 결과로 상기 카메라(100)가 촬영하는 피사체의 움직임을 판단한다(S208).
상기 피사체의 움직임이 판단되면, 제어부(120)는 그래픽부(130)를 제어하여 상기 판단한 피사체의 움직임에 따라 그래픽 신호를 표시부(140)의 화면에 표시하게 한다(S210).
상기 단계(S208)에서의 피사체의 움직임 판단은, 도 3에 도시된 바와 같이 움직임 판단부(115)가 버퍼(113)에 저장된 이전 영상의 특징점들과 특징점 추출부(111)가 출력하는 현재 영상의 특징점들의 위치를 비교한다(S300).
상기 비교 결과 특징점들의 위치가 이동하였을 경우에(S302) 움직임 판단부(115)는 특징점들의 위치가 이동한 방향과 이동거리를 판단한다(S304).
상기 비교 결과 특징점들의 위치가 확대 이동되었을 경우에(S306) 움직임 판단부(115)는 줌 인을 판단하고, 줌 인으로 확대된 비율을 판단한다(S308).
상기 비교 결과 특징점들의 위치가 축소 이동되었을 경우에(S310) 움직임 판단부(115)는 줌 아웃을 판단하고, 줌 아웃으로 축소된 비율을 판단한다(S312).
상기 비교 결과 특징점들의 좌우 폭 변화가 있을 경우에(S314) 피사체의 좌우 회전으로 움직임 판단부(115)는 좌측에 위치하는 특징점들의 좌우 폭 변화와 우측에 위치하는 특징점들의 좌우 폭 변화로 피사체의 좌회전 또는 우회전을 판단하고, 회전각도를 판단한다(S316).
상기 비교 결과 특징점들의 상하 폭 변화가 있을 경우에(S318) 피사체의 상하 회전으로 움직임 판단부(115)는 상부에 위치하는 특징점들의 상하 폭 변화와 하부에 위치하는 특징점들의 상하 폭 변화로 피사체의 상부 회전 또는 하부 회전을 판단하고, 회전각도를 판단한다(S320).
상기 단계(S210)의 그래픽 신호의 움직임 표시는 상기한 도 3에서와 같이 움직임 판단부(115)가 판단한 움직임에 따라 제어부(120)가 그래픽부(130)를 제어하여 그래픽 신호의 화면 표시를 제어하는 것이다. 도 4에 도시된 바와 같이 상기 움직임 판단부(115)가 피사체의 이동을 판단하였을 경우에(S400) 제어부(120)는 그래 픽부(130)가 화면에 표시된 그래픽 신호를 피사체가 이동한 이동 반대방향으로 이동 거리만큼 스크롤하여 표시하게 제어한다(S402).
즉, 카메라(100)가 촬영한 피사체가 상부 방향으로 이동하였을 경우에 화면에 표시되는 그래픽 신호를 하부 방향으로 스크롤하여 화면에 그래픽 신호의 상부가 표시되게 한다. 피사체가 하부 방향으로 이동하였을 경우에 화면에 표시되는 그래픽 신호를 상부 방향으로 스크롤하여 화면에 그래픽 신호의 하부가 표시되게 한다. 피사체가 좌측 방향으로 이동하였을 경우에 화면에 표시되는 그래픽 신호를 우측 방향으로 스크롤하여 화면에 그래픽 신호의 좌측이 표시되게 한다. 피사체가 우측 방향으로 이동하였을 경우에 화면에 표시되는 그래픽 신호를 좌측 방향으로 스크롤하여 화면에 그래픽 신호의 우측이 표시되게 한다.
상기 움직임 판단부(115)가 피사체의 줌 인을 판단하였을 경우에(S404) 제어부(120)는 그래픽부(130)가 화면에 표시된 그래픽 신호를 확대 비율만큼 확대시켜 표시하게 제어한다(S406).
상기 움직임 판단부(115)가 피사체의 줌 아웃을 판단하였을 경우에(S408) 제어부(120)는 그래픽부(130)가 화면에 표시된 그래픽 신호를 축소 비율만큼 축소시켜 표시하게 제어한다(S410).
상기 움직임 판단부(115)가 피사체의 좌우 회전을 판단하였을 경우에(S412) 제어부(120)는 그래픽부(130)가 화면에 표시된 그래픽 신호를 좌우 회전방향으로 회전각도만큼 회전시켜 표시하게 제어한다(S414).
상기 움직임 판단부(115)가 피사체의 상하 회전을 판단하였을 경우에(S416) 제어부(120)는 그래픽부(130)가 화면에 표시된 그래픽 신호를 상하 회전방향으로 회전각도만큼 회전시켜 표시하게 제어한다(S418).
여기서, 본 발명은 화면과 카메라(100)가 동일한 면에 배치되어 있는 휴대용 단말기를 예로 들어 설명하였다. 그러나 휴대용 단말기에는 카메라(100)를 회전시킬 수 있도록 하거나 또는 화면이 설치되어 있는 면의 반대 면에 카메라(100)가 배치되어 있는 경우도 있다.
그러므로 본 발명을 실시함에 있어서는 카메라(100)와 화면이 동일한 면에 설치되어 있는지의 여부를 판단하고, 판단 결과 카메라(100)와 화면이 동일한 면에 설치되어 있을 경우에 상술한 바와 같이 화면에 표시되는 그래픽 신호를 움직여 표시한다.
그리고 판단 결과 카메라(100)와 화면이 서로 반대 면에 설치되어 있을 경우에는 상술한 동작과 반대로 그래픽 신호를 움직여 표시한다. 예를 들면, 피사체의 이동방향과 동일한 방향으로 이동거리만큼 스크롤한다. 그리고 피사체의 줌 인일 경우에 확대 비율만큼 축소 표시하고, 줌 인일 경우에 확대 비율만큼 축소 표시한다. 또한 촬영한 피사체가 좌회전일 경우에 그래픽 신호를 우회전하여 표시하고, 피사체가 우회전일 경우에 그래픽 신호를 좌회전하여 표시하고, 피사체가 상부 회전일 경우에 그래픽 신호를 하부로 회전하여 표시하고, 피사체가 하부 회전일 경우에 그래픽 신호를 상부로 회전하여 표시한다.
한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.
이상에서 상세히 설명한 바와 같이 본 발명은 카메라가 일체로 구비되어 있는 휴대용 단말기에서 화면에 소정의 그래픽 신호를 표시할 경우에 카메라가 촬영하는 피사체의 움직임을 검출하고, 검출한 피사체의 움직임에 따라 화면에 표시된 그래픽 신호를 자동으로 스크롤, 줌인, 줌 아웃, 회전 또는 상하좌우 방향으로 이동시켜 표시한다.
또한 화면에 3차원 그래픽 신호를 표시할 경우에는 사용자가 휴대용 단말기를 잡고, 카메라가 촬영하는 피사체가 회전되도록 함에 따라 3차원 그래픽 신호를 회전시켜 표시한다.
그러므로 본 발명에 따르면, 화면의 크기보다 표시크기가 큰 그래픽 신호를 화면에 표시하였을 경우에 사용자가 일일이 키패드 또는 스타일러스로 스크롤 바를 조절해야 되는 불편과 번거로움을 제거할 수 있고, 또한 3차원 그래픽 신호를 표시할 경우에 사용자가 별도로 조작하지 않고서도 촬영되는 피사체의 움직임만으로 3차원 그래픽 신호를 회전시켜 볼 수 있는 등의 효과가 있다.

Claims (13)

  1. 피사체를 촬영하는 카메라;
    상기 카메라가 촬영한 피사체의 움직임을 검출하는 움직임 검출수단;
    외부에서 입력되는 그래픽 신호를 처리하여 표시부의 화면에 표시하는 그래픽부; 및
    상기 움직임 검출수단이 검출한 피사체의 움직임에 따라 상기 그래픽부를 제어하여 화면에 표시하는 그래픽 신호를 이동시키는 제어부로 구성된 휴대용 단말기의 그래픽 신호 표시장치.
  2. 제 1 항에 있어서, 상기 움직임 검출수단은;
    상기 카메라가 촬영한 피사체의 특징점을 추출하는 특징점 추출부;
    상기 특징점 추출부가 추출한 특징점을 저장하는 버퍼; 및
    상기 버퍼에 저장된 이전 피사체의 특징점과 상기 특징점 추출부가 추출한 현재 피사체의 특징점을 비교하여 피사체의 움직임을 판단하는 움직임 판단부로 구성됨을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시장치.
  3. 제 2 항에 있어서, 상기 움직임 판단부는;
    피사체의 이동 방향과 이동거리, 회전방향과 회전각도, 줌 인 또는 줌 아웃을 판단하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시장치.
  4. 카메라가 촬영한 영상에서 특징점 추출부가 특징점을 추출하는 단계;
    상기 특징점 추출부가 추출한 이전 영상의 특징점과 현재 영상의 특징점을 움직임 판단부가 비교하여 피사체의 움직임을 판단하는 단계; 및
    상기 판단한 피사체의 움직임에 따라 그래픽부가 그래픽 신호를 화면에 표시하는 단계로 이루어지는 휴대용 단말기의 그래픽 신호 표시방법.
  5. 제 4 항에 있어서,
    상기 움직임 판단단계는;
    피사체의 상하 또는 좌우 이동이 판단될 경우에 피사체의 이동거리를 판단하고,
    상기 그래픽 신호의 표시단계는;
    상기 판단한 이동거리만큼 그래픽 신호를 이동시켜 화면에 표시하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  6. 제 5 항에 있어서, 상기 그래픽 신호의 이동은;
    상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 이동 반대방향으로 그래픽 신호를 이동시키는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  7. 제 5 항에 있어서, 상기 그래픽 신호의 이동은;
    상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 이동 방향으로 그래픽 신호를 이동시키는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  8. 제 4 항에 있어서,
    상기 움직임 판단단계는;
    피사체의 줌 인 또는 줌 아웃이 판단될 경우에 피사체의 확대 또는 축소 비율을 판단하고,
    상기 그래픽 신호의 표시단계는;
    상기 판단한 확대 또는 축소 비율에 따라 그래픽 신호를 확대 또는 축소시켜 화면에 표시하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  9. 제 8 항에 있어서, 상기 그래픽 신호의 확대 또는 축소는;
    상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 줌 인에 따라 그래픽 신호를 확대 표시하고, 피사체의 줌 아웃에 따라 그래픽 신호를 축소 표시하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  10. 제 8 항에 있어서, 상기 그래픽 신호의 확대 또는 축소는;
    상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 줌 인에 따라 그래픽 신호를 축소 표시하고, 피사체의 줌 아웃에 따라 그래픽 신호를 확대 표시하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  11. 제 4 항에 있어서,
    상기 움직임 판단단계는;
    피사체의 회전이 판단될 경우에 피사체의 회전각도를 판단하고,
    상기 그래픽 신호의 표시단계는;
    상기 판단한 회전각도에 따라 그래픽 신호를 회전시켜 화면에 표시하는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  12. 제 11 항에 있어서, 상기 그래픽 신호의 회전은;
    상기 카메라와 화면이 휴대용 단말기의 동일 면에 배치되어 있을 경우에 상기 피사체의 회전방향과 동일한 방향으로 그래픽 신호를 회전시키는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
  13. 제 11 항에 있어서, 상기 그래픽 신호의 회전은;
    상기 카메라와 화면이 휴대용 단말기의 반대 면에 배치되어 있을 경우에 상기 피사체의 회전 방향과 반대 방향으로 그래픽 신호를 회전시키는 것을 특징으로 하는 휴대용 단말기의 그래픽 신호 표시방법.
KR1020050091246A 2005-09-29 2005-09-29 휴대용 단말기의 그래픽 신호 표시장치 및 방법 KR100643470B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020050091246A KR100643470B1 (ko) 2005-09-29 2005-09-29 휴대용 단말기의 그래픽 신호 표시장치 및 방법
EP06011239A EP1770487A2 (en) 2005-09-29 2006-05-31 Graphic signal display apparatus and method for hand-held terminal
US11/421,695 US20070070037A1 (en) 2005-09-29 2006-06-01 Graphic signal display apparatus and method for hand-held terminal
JP2006177021A JP2007095030A (ja) 2005-09-29 2006-06-27 携帯用端末機のグラフィック信号表示装置及び方法
CNA2006101100727A CN1941847A (zh) 2005-09-29 2006-07-31 用于手持终端的图形信号显示装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050091246A KR100643470B1 (ko) 2005-09-29 2005-09-29 휴대용 단말기의 그래픽 신호 표시장치 및 방법

Publications (1)

Publication Number Publication Date
KR100643470B1 true KR100643470B1 (ko) 2006-11-10

Family

ID=37507585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050091246A KR100643470B1 (ko) 2005-09-29 2005-09-29 휴대용 단말기의 그래픽 신호 표시장치 및 방법

Country Status (5)

Country Link
US (1) US20070070037A1 (ko)
EP (1) EP1770487A2 (ko)
JP (1) JP2007095030A (ko)
KR (1) KR100643470B1 (ko)
CN (1) CN1941847A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066653A (ko) * 2009-12-11 2011-06-17 삼성전자주식회사 동영상 촬영 장치에서의 움직임 가이드 제공 방법 및 그 장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556856B1 (ko) * 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
KR100764698B1 (ko) * 2006-08-07 2007-10-08 삼성전자주식회사 카메라 영상의 패턴인식과 해석에 의한 휴대 단말기의사용자 인터페이스 제어 방법 및 그 단말기
US7952596B2 (en) * 2008-02-11 2011-05-31 Sony Ericsson Mobile Communications Ab Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein
GB2458881A (en) * 2008-03-19 2009-10-07 Robert William Albert Dobson Interface control using motion of a mobile device
JP5077956B2 (ja) * 2008-04-23 2012-11-21 Ｋｄｄｉ株式会社 情報端末装置
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US8269842B2 (en) * 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP5182202B2 (ja) * 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR101624505B1 (ko) * 2009-09-24 2016-05-26 삼성전자주식회사 3-ｄ 포인팅 감지 장치 및 방법
CN104635932A (zh) * 2009-10-13 2015-05-20 华为终端有限公司 一种调节显示内容的方法和设备
JP5437023B2 (ja) * 2009-11-02 2014-03-12 株式会社ソニー・コンピュータエンタテインメント 操作入力装置
CN102055897B (zh) * 2009-11-02 2013-01-23 华晶科技股份有限公司 摄像追踪方法
CN102411456B (zh) * 2010-09-21 2016-02-17 深圳富泰宏精密工业有限公司 可携式装置感应控制系统及方法
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
US20120194415A1 (en) * 2011-01-31 2012-08-02 Honeywell International Inc. Displaying an image
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US9189072B2 (en) * 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US9407824B2 (en) * 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
CN103019543B (zh) * 2012-11-28 2017-05-10 北京百度网讯科技有限公司 用于移动终端的视图缩放方法和装置
CN103331506B (zh) * 2013-07-23 2015-02-04 唐山开元焊接自动化技术研究所有限公司 一种使用手持式终端检测自动化焊接装备的检测方法
US10042078B2 (en) * 2015-02-27 2018-08-07 The United States of America, as Represented by the Secretary of Homeland Security System and method for viewing images on a portable image viewing device related to image screening
CN105630162A (zh) * 2015-12-21 2016-06-01 魅族科技（中国）有限公司 一种控制软键盘的方法以及终端
CN111835972B (zh) * 2020-07-21 2023-04-18 维沃移动通信（杭州）有限公司 拍摄方法、装置和电子设备
CN112689221B (zh) * 2020-12-18 2023-05-30 Oppo广东移动通信有限公司 录音方法、录音装置、电子设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024506A1 (en) * 1999-11-09 2002-02-28 Flack James F. Motion detection and tracking system to control navigation and display of object viewers
JP4144555B2 (ja) * 2003-06-09 2008-09-03 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066653A (ko) * 2009-12-11 2011-06-17 삼성전자주식회사 동영상 촬영 장치에서의 움직임 가이드 제공 방법 및 그 장치
KR101643606B1 (ko) * 2009-12-11 2016-07-29 삼성전자주식회사 동영상 촬영 장치에서의 움직임 가이드 제공 방법 및 그 장치

Also Published As

Publication number Publication date
CN1941847A (zh) 2007-04-04
JP2007095030A (ja) 2007-04-12
US20070070037A1 (en) 2007-03-29
EP1770487A2 (en) 2007-04-04

Similar Documents

Publication Publication Date Title
KR100643470B1 (ko) 휴대용 단말기의 그래픽 신호 표시장치 및 방법
EP2214079B1 (en) Display apparatus, display control method, and display control program
US9818370B2 (en) Apparatus and method for changing user interface of portable terminal
JP5433935B2 (ja) 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
US8120641B2 (en) Panoramic photography method and apparatus
US20100060547A1 (en) Display Device and Method for Displaying Images in a Variable Size Display Area
US20060001647A1 (en) Hand-held display device and method of controlling displayed content
JP5236721B2 (ja) 表示装置、表示制御方法および表示制御プログラム
WO2008054185A1 (en) Method of moving/enlarging/reducing a virtual screen by movement of display device and hand helded information equipment using the same
JP7528285B2 (ja) 情報処理装置
WO2006028276A1 (ja) 映像機器
US20090327950A1 (en) System and method for scrolling through an electronic document in a mobile device
EP2847685B1 (en) Method for controlling a display apparatus using a camera based device and device thereof.
US8803919B2 (en) Display apparatus and image display method thereof
JP2011101289A (ja) 画像表示装置及び画像表示方法
JP4702015B2 (ja) 画像表示装置及びプログラム
KR20070054569A (ko) 휴대폰 카메라를 이용한 사용자 인터페이스 장치 및 그제공 방법
KR101247780B1 (ko) 안구 감지 기능이 구비된 이동 통신 단말기 및 그 화면처리 방법
JP2003216893A (ja) カメラ付携帯情報端末
JP5796052B2 (ja) 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
JP2005055973A (ja) 携帯情報端末
JP2008298946A (ja) 携帯端末、及び表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120926

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140924

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee