KR20150010070A - 휴대단말기에서 이미지를 표시하는 방법 및 장치 - Google Patents

휴대단말기에서 이미지를 표시하는 방법 및 장치 Download PDF

Info

Publication number
KR20150010070A
KR20150010070A KR20130084502A KR20130084502A KR20150010070A KR 20150010070 A KR20150010070 A KR 20150010070A KR 20130084502 A KR20130084502 A KR 20130084502A KR 20130084502 A KR20130084502 A KR 20130084502A KR 20150010070 A KR20150010070 A KR 20150010070A
Authority
KR
South Korea
Prior art keywords
image
images
center point
key frame
displaying
Prior art date
Application number
KR20130084502A
Other languages
English (en)
Inventor
김경화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130084502A priority Critical patent/KR20150010070A/ko
Priority to US14/335,168 priority patent/US20150022559A1/en
Priority to PCT/KR2014/006567 priority patent/WO2015009112A1/en
Publication of KR20150010070A publication Critical patent/KR20150010070A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 휴대 단말기의 이미지를 표시하는 방법에 대한 것으로, 본 발명의 실시예를 따르는 휴대단말기에 이미지를 표시하는 방법은, 피사체에 대한 적어도 하나 이상의 이미지를 연속적으로 생성하는 단계; 상기 이미지들의 중심점을 계산하는 단계; 및 상기 피사체에 대한 공간감을 제공하는 공간 이미지를 상기 중심점을 이용하여 표시하는 단계를 포함하고, 더 나아가, 사용자의 제스처에 따라 상기 공간 이미지를 이동하여 표시하는 단계를 더 포함하는 것을 특징으로 한다. 본 발명에 따르면, 임의의 피사체에 대한 다수의 이미지를 공간감을 느낄 수 있도록 표시하여, 보다 입체적이고 상호적인 디스플레이를 제공할 수 있는 효과가 있다.

Description

휴대단말기에서 이미지를 표시하는 방법 및 장치 {METHOD AND APPARATUS FOR DISPALYING IMAGES ON PORTABLE TERMINAL}
본 발명은 휴대단말기에서 이미지를 표시하는 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 임의의 피사체에 대한 다수의 이미지를 공간감을 느낄 수 있도록 표시하고, 사용자의 제스처에 연동하여 이동된 이미지를 표시하는 방법 및 장치에 대한 것이다.
최근 카메라 기능이 있는 전자기기, 특히 휴대단말기는 입체적으로 이미지를 표시하는 기능을 제공하고 있다.
예를 들어 파노라마 사진 기능이 있다. 파노라마 사진 촬영(panorama photography)이란 한 사진 속에 더 많은 풍경을 담아내기 위해 보통 사진보다 좌우 또는 상하 방향으로 길게 찍는 방식을 말한다. 일반적으로 파노라마 사진은 부분적으로 돌아가며 찍은 여러장의 사진을 옆으로 또는 위아래로 길게 이어 붙여 완성하게 된다.
이러한 파노라마 사진은 종래의 스틸 사진에 대한 디스플레이 중 가장 입체적으로 이미지를 제공한다고 평가받는다. 그러나 파노라마 사진 기능은 카메라의 위치에서 배경까지의 거리와 관계 없이, 촬영 당시 카메라가 캡춰한 이미지를 평면적으로 저장하고, 디스플레이 역시 한장의 이미지로 평면적으로 표시하고 있어 공간감을 충분히 제공할 수 없다는 문제가 있다.
나아가 이러한 종래의 파노라마 기능은 카메라를 중심으로 회전하며 피사체를 촬영하는 것에 한정된다. 즉, 종래 기술에 따르면, 피사체를 중심으로 카메라가 회전하여 촬영하는 경우에는 입체적인 이미지를 제공하는 것이 용이하지 않다.
이에 따라, 카메라를 포함하는 전자기기에서 공간감을 느낄 수 있는 이미지를 제공하는 방법 및 장치에 대한 필요성이 대두된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것이다. 특히 본 발명은 임의의 피사체에 대한 다수의 이미지를 공간감을 느낄 수 있도록 표시하여, 보다 입체적이고 상호적인 디스플레이를 제공하는 것을 목적으로 한다.
더 나아가 본 발명은 공간감을 느낄 수 있도록 표시된 이미지를 사용자의 제스처에 연동하여 이동시켜 표시할 수 있도록 하여, 사용자에게 보다 직관적인 이미지 이동 방법을 제공하는 것을 목적으로 한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 실시예를 따르는 휴대 단말기의 이미지를 표시하는 방법은, 피사체에 대한 적어도 하나 이상의 이미지를 연속적으로 생성하는 단계; 상기 이미지들의 중심점을 계산하는 단계; 및 상기 피사체에 대한 공간감을 제공하는 공간 이미지를 상기 중심점을 이용하여 표시하는 단계를 포함하는 것을 특징으로 한다.
나아가 상기 이미지를 표시하는 방법은 사용자의 제스처에 따라 상기 공간 이미지를 이동하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
한편, 본 발명의 실시예를 따르는 이미지를 표시하는 휴대단말기는, 피사체에 대한 적어도 하나 이상의 이미지를 연속적으로 생성하는 카메라; 및 상기 이미지들의 중심점을 계산하고, 상기 피사체에 대한 공간감을 제공하는 공간 이미지를 상기 중심점을 이용하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
나아가 상기 제어부는 사용자의 제스처에 따라 상기 공간 이미지를 이동하여 표시하도록 제어하는 것을 특징으로 한다.
본 발명에 따르면, 임의의 피사체에 대한 다수의 이미지를 공간감을 느낄 수 있도록 표시하여, 보다 입체적이고 상호적인 디스플레이를 제공할 수 있는 효과가 있다. 더 나아가 본 발명에 따르면 사용자의 제스처에 연동하여 표시된 이미지를 직관적으로 이동할 수 있는 효과가 있다.
도 1은 원거리 풍경을 촬영하는 경우를 설명하기 위한 도면
도 2은 카메라가 피사체를 중심에 두고 이동하면서 촬영하는 경우를 설명하기 위한 도면
도 3은 카메라가 피사체를 중심에 두고 이동하면서 촬영하는 경우를 자세하게 설명하기 위한 도면
도 4는 본 발명의 실시예에 따라 피사체를 중심으로 연속하여 생성한 이미지들을 입체적으로 표시하는 방법을 예시하기 위한 도면
도 5는 본 발명의 실시예에 따른 전자 기기의 내부구조를 도시하는 블록도
도 6는 본 발명의 실시예에 따라, 공간 이미지를 표시하고, 사용자의 제스처에 따라 공간 이미지를 이동하여 표시하는 방법을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따라, 피사체에 대한 다수의 이미지를 연속적으로 생성하는 예시를 설명하기 위한 도면
도 8은 본 발명의 실시예에 따라, 키 프레임을 추출하는 예시를 설명하기 위한 도면
도 9은 본 발명의 실시예에 따라, 이미지의 중심점을 계산하는 예시를 설명하기 위한 도면
도 10은 본 발명의 실시예에 따라, 사용자의 제스처를 설정하는 예시를 설명하기 위한 도면
도 11은 본 발명의 실시예에 따라, 사용자의 머리 움직임을 제스처로 하여 머리 움직임에 따라 이미지를 이동하여 표시하는 예시를 설명하기 위한 도면
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.
도 1 종래 기술에 따라 원거리 풍경을 촬영하는 경우를 설명하기 위한 도면이다.
도 1a에 도시되어 있는 사진은 일반적인 파노라마 사진의 예시이다. 일반적으로 파노라마 사진은 부분적으로 돌아가며 찍은 여러장의 사진을 옆으로 또는 위아래로 길게 이어 붙여 완성하게 된다.
그리고 도 1b에 도시되어 있는 것은 포토신스의 예시로, 포토신스란 같은 장소에서 연결하여 촬영한 사진들을 한데 묶어 3D 파노라마 동영상으로 재구성하는 기술을 말한다.
도 1a와 도 1b는 모두 촬영자를 중심으로 주변 배경을 최대 360도로 촬영하기 위한 기술이며, 주로 풍경, 주변 상황을 촬영하기 위한 목적으로 활용된다. 즉, 도 1a와 도 1b 경우 모두, 도 1c에서와 같이 사용자(130)가 회전하면서 카메라(120)를 최대 360로 이동시키며 원거리 피사체(110)를 촬영하여 생성한 이미지 또는 동영상에 해당한다.
그러나 도 1에 도시된 예시들은 입체적인 이미지를 제공하기 위한 기술에 해당하지만, 카메라의 위치에서 배경까지의 거리와 관계 없이, 촬영 당시 카메라가 캡춰한 이미지를 평면적으로 펼쳐놓는 방식을 채택하고 있어 원근감이 느껴지지 않는 문제가 있다. 따라서 넓은 공간을 촬영한다 하더라도 촬영 당시의 생생한 공간감을 제공하는데 한계가 있다.
도 2는 카메라가 피사체를 중심에 두고 이동하면서 촬영하는 경우를 설명하기 위한 도면이다.
도 2a의 구두에 대한 입체적인 사진을 원하는 경우, 도 2b에서와 같이 촬영자는 구두를 중심으로 회전하면서 촬영할 것이다. 이때 촬영 구조는 도 2c와 같다. 즉, 피사체(210)를 중심에 두고 사용자(230)가 회전하면서 카메라(220)도 함께 회전하며 이미지를 생성하게 된다.
이는 일반적으로 피사체를 여러 각도에서 촬영하여 이미지 정보를 생성하기 위한 목적으로 활용된다. 그런데 종래 기술에 따르면, 이와 같이 피사체를 중심으로 카메라가 회전하여 생성한 이미지를 입체적으로 표시하는 방법이 존재하지 않는다.
따라서 본 발명은 피사체를 중심으로 촬영자가 상하좌우로 돌아가며 마치 비디오를 촬영하듯 연속적으로 피사체를 촬영하여 이미지를 수집한 경우에 대한 이미지 표시방법을 제안하고자 한다.
도 3은 도 2의 카메라가 피사체를 중심에 두고 이동하면서 촬영하는 경우를 자세하게 설명하기 위한 도면이다.
도 3a에서 도시되는 구는 피사체, 즉 구두를 중심으로 원근감이 느껴지는 view이다. 사용자는 피사체를 중심으로 상하좌우로 360 촬영이 가능하다.
도 3 b에 도시되는 원은 피사체 위에서 보이는 구의 형태이다. 예를 들어 사용자가 도 3a의 A->F 방향으로 입체 피사체를 촬영하는 경우 사용자의 움직임은 도 3b와 같다. 촬영 순서는 전혀 문제되지 않는다.
이렇게 추출한 이미지를 본 발명의 실시예에 따라 입체적으로 표시하는 예시는 도 4에서 도시된다. 도 4는 본 발명의 실시예에 따라 피사체를 중심으로 연속하여 생성한 이미지들을 입체적으로 표시하는 방법을 예시하기 위한 도면이다.
예를 들어, 도 4a와 같이 사용자가 A-F 위치에서 사진을 촬영하는 경우, 휴대 단말기는 센서를 이용하여A에서 F로의 움직임을 분석할 수 있다. 즉, 가속도 센서와 자이로 센서 등을 이용하여 상대적인 이동 값을 추출하고 이미지를 분석하여, 도 4b와 같이 A-F의 상대적인 위치를 계산할 수 있다. 따라서 촬영 순서가 문제되지 않는다.
이후 휴대 단말기는 A-F의 변위 이동에 대한 면적을 추출하여 도 4c와 같이 최소 접지 사각형을 추출할 수 있다. 이는 공간감이 느껴지는 공감 이미지의 중심점을 계산하기 위한 것이다. 이후 휴대 단말기는 도 4d와 같이 사각형을 이용하여 중심점을 계산할 수 있다.
이러한 각 단계에 대한 상세한 설명은 첨부된 도면과 함께 후술된다.
도 5는 본 발명의 실시예에 따른 전자 기기의 내부구조를 도시하는 블록도이다.
도 5에서 도시되는 바와 같이, 본 발명의 실시예에 따른 전자 기기(500)는 카메라부(510), 센서부(520), 터치스크린부(530), 입력부(540), 저장부(550) 및 제어부(560)를 포함할 수 있다.
카메라부(510)는 적어도 하나의 피사체를 포함하는 영상을 수집할 수 있다. 카메라부(510)는 렌즈부, 렌즈부에 투영된 피사체에 대한 광신호를 전기 신호로 변환하는 촬상부, 촬상부로부터 출력되는 신호를 처리하고 디지털로 변환한 후 제어부(560)에서 처리하기에 적합한 포맷으로 변환하는 영상 변환부 및 카메라부(510)의 전반적인 동작을 제어하는 카메라 제어부를 포함할 수 있다.
렌즈부는 적어도 하나의 렌즈로 구성되며, 빛을 집광하여 영상을 수집한 후 촬상부에 공급한다. 촬상부는 CMOS 촬상소자 또는 CCD 촬상소자로 구성되며, 수집된 영상의 밝기에 비례한 전류 또는 전압을 출력함으로써, 영상을 전기적 신호로 변환한다. 촬상부는 영상의 픽셀 별로 신호를 생성하여, 클럭에 동기시킴으로써 순차적으로 출력한다. 영상 변환부는 촬상부에서 출력되는 신호를 디지털 데이터로 변환한다.
영상 변환부는 변환된 디지털 데이터를 JPEG 포맷으로 압축하거나 MPEG 포맷으로 압축하는 코덱을 포함할 수 있다. 영상 변환부에서 변환된 디지털 데이터는 제어부(560)로 전송되어 전자기기(500)의 동작을 위해 사용될 수 있다.
센서부(520)는 가속도 센서, 중력 센서, 광센서, 동작 인식 센서, GBR 센서 등을 포함할 수 있다.
특히 본 발명의 실시예를 따르는 전자기기(500)에서 센서부(520)는 가속도 센서, 자이로 센서 등을 이용하여 촬영된 이미지의 상대적인 변위 값을 추출하는 데 사용될 수 있다.
터치스크린부(530)는 터치패널(534) 및 표시부(536)를 포함한다. 터치패널(534)은 사용자의 터치 입력을 감지한다. 터치패널(534)은 정전용량 방식(capacitive overlay), 압력식 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치패널(534)로 구성될 수 있다.
터치패널(534)은 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(560)로 전송한다. 상기 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함된다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치패널(334)은 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(560)로 전송한다.
표시부(536)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 전자 기기(300)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 그리고 전자기기(200)의 동작 상태를 사용자에게 알리지 위한 각종 정보를 표시할 수 있다.
본 발명의 전자 기기(500)는 상기와 같이 터치스크린을 포함하여 구성될 수 있지만, 이하에서 기술되는 본 발명의 실시예가 반드시 터치스크린을 구비하는 휴대 단말기(500)에만 적용되는 것은 아님에 유의하여야 한다. 본 발명이 터치스크린을 구비하지 않는 휴대 단말기에 적용될 경우, 도 5에서 도시되는 터치스크린부(530)는 표시부(536)의 기능만을 수행하도록 변형 적용될 수 있으며, 터치 패널(334)이 수행하는 기능은 입력부(540)가 대신할 수 있다.
입력부(540)는 전자 기기(500)를 제어하기 위한 사용자의 입력을 수신하고 입력 신호를 생성하여 제어부(560)에 전달한다. 입력부(540)는 숫자 키, 방향키를 포함하는 키패드로 구성될 수 있으며, 전자 기기(500)의 일면에 소정의 기능키로 형성될 수 있다.
저장부(550)는 전자 기기(500)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다.
프로그램 영역은 전자 기기(500)의 전반적인 동작을 제어하는 프로그램 및 휴대 단말기(500)를 부팅시키는 운영체제(OS, Operating System)등 휴대단말기에서 디폴트로 제공하는 프로그램을 저장할 수 있다. 그리고 저장부(550)의 프로그램 영역은 사용자가 별도로 설치한 어플리케이션, 예를 들어 게임 어플리케이션, 소셜 네트워크 서비스 실행 어플리케이션 등을 저장할 수 있다.
데이터 영역은 전자 기기(500)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 본 발명의 실시예에 따르는 데이터 영역은 피사체에 대한 연속된 이미지를 저장하는데 사용될 수 있다.
제어부(560)는 전자 기기의 각 구성 요소에 대한 전반적인 동작을 제어한다. 특히, 본 발명의 실시예에 따르는 전자 기기(500)에서 제어부(560)는 카메라부(510)가 생성한 이미지를 이용하여, 키프레임을 추출하고, 중심점을 계산하여 공간감이 느껴지는 이미지를 표시하는 일련의 과정을 제어한다.
나아가 제어부(560)는 터치패널(534), 센서부(520) 또는 카메라부(520)로부터 신호를 받아 사용자의 제스처를 인식하고, 사용자의 제스처에 따라 표시된 이미지를 이동하여 제공하는 일련의 과정 역시 제어할 수 있다.
이러한 공간감이 느껴지는 공간 이미지를 표시하고, 사용자의 제스처에 따라 이동하여 제공하는 구체적인 예시는 첨부된 도면과 함께 후술된다.
도 6는 본 발명의 실시예에 따라, 공간 이미지를 표시하고, 사용자의 제스처에 따라 공간 이미지를 이동하여 표시하는 방법을 설명하기 위한 도면이다.
단계 610에서 카메라부(510)은 위도 또는 경도를 변화시키며 피사체를 중심으로 적어도 하나 이상의 이미지를 연속적으로 생성하고, 센서부(520)는 각 이미지의 상대적인 변위 값을 확인하며, 저장부(550)는 생성한 이미지와 변위값을 저장할 수 있다. 단계 610에 대한 예시는 도 7에 도시된다.
도 7은 본 발명의 실시예에 따라, 피사체에 대한 다수의 이미지를 연속적으로 생성하는 예시를 설명하기 위한 도면이다. 도 7a와 도 7d는 사용자가 비디오를 촬영하듯 촬영하고자 하는 피사체의 주변을 훑여가며 촬영하는 경우이다.
그 중, 도 7a에는 위도 변화 없이 경도 차이만 두고 촬영하는 예시이다. 이 때 촬영 위치를 top view에서 도시하면 도 7b와 같다. 그리고 촬영된 이미지를 전개하면 도 7c와 같다.
한편, 도 7d는 위도와 경도가 함께 변화하는 예시이다. 이때 촬영 위치를 top view에서 도시하면 도 7e와 같다. 그리고 촬영된 이미지를 전개하면 도 7f와 같다. 이때 센서부(520)는 도 7c와 도 7f와 같이 생성한 이미지의 변위 값을 계산하는데 사용될 수 있다.
다시 도 6에 대한 설명으로 복귀하면, 단계620에서 제어부(560)는 생성된 이미지에서 중심점을 계산하기 위한 키프레임을 추출할 수 있다. 단계 620에 대한 예시는 도 8에 도시된다.
도 8은 본 발명의 실시예에 따라, 키 프레임을 추출하는 예시를 설명하기 위한 도면이다. 단계 610에서 저장된 이미지는 임의의 시간 동안 촬영된 수많은 이미지들이 연속 촬영된 결과물로 애니메이션 비디오와 유사한 형태를 가지고 있다.
이러한 다수의 이미지들의 키프레임을 추출하기 위하여 본 발명의 실시예를 따르면, 도 8a와 같이 시간 간격으로 기준점을 정하고 기준점 사이의 n1/sec per frame으로 추출하는 것을 고려할 수 있다. 한편 도 8b와 같이 거리 간격으로 기준점을 정하고 기준점 사이의 n2/mm per frame으로 추출하는 방법도 고려할 수 있다.
도 8a와 도 8b는 기준점만을 표시하였지만, 실제로는 도 8c와 같이 기준점 사이에 n3/sec, 또는 n3/mm 으로 이미지를 추출할 수 있다.
다시 도 6에 대한 설명으로 복귀하면, 단계630에서 제어부(560)는 키프레임을 이용하여 중심점을 계산할 수 있다. 단계 630에 대한 예시는 도 9에 도시된다.
단계 620에서 추출된 이미지를 나열하는 경우, 도 9a와 같이 촬영당시 카메라가 움직인 패턴과 동일한 루트로 수많은 정지 이미지들이 펼쳐진 형태가 될 수 있다. 따라서 도 9a와 같은 이미지를 하나의 디스플레이에 공간감을 느낄 수 있도록 표시하려면 기준점이 필요하다. 이러한 기준점을 중심으로 공간 이미지를 표시하고, 사용자의 제스처에 따라 상하좌우앞뒤로 이동하여 표시할 수 있기 때문이다.
이와 같이 중심점을 계산하기 위하여, 본 발명의 실시예를 따르면, 도 9b 내지 도 9d와 같이 처리할 수 있다. 즉, 도 9b와 같이 키프레임에 외접한 최소 직사각형을 추출하고, 도 9c와 같이 외접한 직사각형의 대각선을 그어서, 도 9d와 같이 대각선의 교차점을 중심점으로 처리할 수 있다.
다시 도 6에 대한 설명으로 복귀하면, 단계640에서 제어부(560)는 중심점을 이용하여 공간 이미지를 표시하도록 표시부(530)을 제어할 수 있다.
이후 단계 650에서 센서부(520), 터치패널(534), 또는 카메라부(510) 등을 통해 사용자의 상세보기 제스처를 수신한 경우, 단계 660에서 제어부(560)는 사용자 제스처에 연동하여 공간 이미지를 이동하여 표시할 수 있다.
단계 650에 대한 예시는 도 10에 도시된다.
도 10a는 터치패널(534)을 통하여 사용자의 터치 제스처를 수신하는 예시이다. 도 10a에서 도시된 바와 같이, 오른쪽 방향의 드래그 입력은 표시된 이미지를 오른쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 왼쪽 방향의 드래그 입력은 표시된 이미지를 왼쪽 방향으로 이동하라는 제스처, 위쪽 방향의 드래그 입력은 표시된 이미지를 위쪽 방향으로 이동하라는 제스처, 아래쪽 방향의 드래그 입력은 표시된 이미지를 아래쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 도 10a에 도시된 바와 같이, 본 발명의 실시예를 따르면, 멀어지는 방향으로의 더블 드래그 입력은 표시된 이미지를 앞으로 이동하라는 제스처, 가까워지는 방향으로의 더블 드래그 입력은 표시된 이미지를 뒤로 이동하라는 제스처로 설정할 수 있다.
도 10b는 센서부(520)을 통하여 사용자의 모션 제스처를 수신하는 예시이다. 도 10b에서 도시된 바와 같이, 오른쪽 방향으로 단말을 기울이는 것은 표시된 이미지를 오른쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 왼쪽 방향으로 단말을 기울이는 입력은 표시된 이미지를 왼쪽 방향으로 이동하라는 제스처, 단말을 위로 세우는 입력은 표시된 이미지를 위쪽 방향으로 이동하라는 제스처, 단말을 아래로 기울이는 입력은 표시된 이미지를 아래쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 도 10b에 도시된 바와 같이, 본 발명의 실시예를 따르면, 단말을 사용자 방향으로 끌어오는 입력은 표시된 이미지를 앞으로 이동하라는 제스처, 단말을 사용자 반대 방향으로 밀어내는 입력은 표시된 이미지를 뒤로 이동하라는 제스처로 설정할 수 있다.
한편 도 10c는 센서부(520) 또는 카메라부(510)을 통하여 사용자의 머리 움직임 제스처를 수신하는 예시이다. 도 10c에서 도시된 바와 같이, 오른쪽 방향으로 머리를 기울이는 것은 표시된 이미지를 오른쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 왼쪽 방향으로 머리를 기울이는 입력은 표시된 이미지를 왼쪽 방향으로 이동하라는 제스처, 머리를 뒤로 기울이는 입력은 표시된 이미지를 위쪽 방향으로 이동하라는 제스처, 머리를 앞으로 기울이는 입력은 표시된 이미지를 아래쪽 방향으로 이동하라는 제스처로 설정할 수 있다.
그리고 도 10c에 도시된 바와 같이, 본 발명의 실시예를 따르면, 머리를 앞으로 빼는 입력은 표시된 이미지를 앞으로 이동하라는 제스처, 머리를 뒤로 빼는 입력은 표시된 이미지를 뒤로 이동하라는 제스처로 설정할 수 있다.
도 6의 단계 660에 대한 예시는 도 11에서 도시된다.
도 11은 특히 머리의 움직임을 사용자의 제스처로 하여 공간 이미지를 이동하여 표시하는 예시에 대한 것이다.
사용자의 머리 움직임은 도 11a와 같이 얼굴 정면을 기준으로 머리를 왼쪽 오른쪽으로 기울이거나, 도 11b와 같이 얼굴 측면을 기준으로 앞뒤로 고래를 기울이거나, 도 11c와 같이 정수리를 기준으로 좌우로 고개를 회전하는 동작을 고려할 수 있다.
이러한 머리의 움직임을 공간 이미지 이동 제스처로 설정하는 예시는 도 11d 내지 도 11f와 같다.
예를 들어, 정수리를 기준으로 좌우로 고개를 회전하는 동작의 경우, 도 11d와 같이 고개가 왼쪽으로 회전하면 공간 이미지를 왼쪽으로 이동하여 표시하며, 고개가 움직이지 않으면 공간 이미지를 그대로 표시하고, 고개가 오른쪽으로 회전하면 공간이미지를 오른쪽으로 이동하여 표시할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
500: 휴대단말기
510 : 카메라부
520 : 센서부
530 : 터치 스크린부
534 : 터치패널
536 : 표시부
540 : 입력부
550 : 저장부
560 : 제어부

Claims (18)

  1. 휴대단말기에 이미지를 표시하는 방법에 있어서,
    피사체에 대한 적어도 하나 이상의 이미지를 연속적으로 생성하는 단계;
    상기 이미지들의 중심점을 계산하는 단계; 및
    상기 피사체에 대한 공간감을 제공하는 공간 이미지를 상기 중심점을 이용하여 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    사용자의 제스처에 따라 상기 공간 이미지를 이동하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서, 상기 이미지를 생성하는 단계는,
    관성 센서를 이용하여, 상기 이미지들을 생성한 이동 경로를 인식하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서, 상기 중심점을 계산하는 단계는,
    상기 이미지들을 생성한 시간 또는 위치를 기준으로 적어도 하나 이상의 키프레임을 추출하는 단계; 및
    상기 키프레임을 이용하여 상기 중심점을 계산하는 단계인 것을 특징으로 하는 방법.
  5. 제 4항에 있어서, 상기 키프레임을 추출하는 단계는,
    상기 이미지들을 생성한 전체 시간을 미리 설정한 숫자만큼 분할하고, 상기 분할된 시간에 해당하는 이미지들을 상기 키프레임으로 추출하는 단계인 것을 특징으로 하는 방법.
  6. 제 4항에 있어서, 상기 키프레임을 추출하는 단계는,
    상기 이미지들을 생성한 전체 거리를 미리 설정한 숫자만큼 분할하고, 상기 분할된 거리에 해당하는 이미지들을 상기 키프레임으로 추출하는 단계인 것을 특징으로 하는 방법.
  7. 제 5항 또는 제 6항에 있어서, 상기 중심점을 계산하는 단계는,
    상기 키프레임들을 모두 포함하는 최소의 직사각형을 추출하는 단계;
    상기 직사각형의 대각선이 교차하는 지점을 상기 중심점으로 계산하는 단계인 것을 특징으로 하는 방법.
  8. 제 7항에 있어서, 상기 공간 이미지를 이동하여 표시하는 단계는,
    상기 공간 이미지에 대한 사용자 머리의 상,하,좌,우,앞, 뒤 움직임을 인식하는 단계; 및
    상기 움직임에 따라 상기 공간 이미지를 이동하여 표시하는 단계인 것을 특징으로 하는 방법.
  9. 제 7항에 있어서, 상기 공간 이미지를 이동하여 표시하는 단계는,
    상기 공간 이미지를 표시한 상태의 상기 휴대단말기에 대한 상,하,좌,우,앞, 뒤 움직임을 인식하는 단계; 및
    상기 움직임에 따라 상기 공간 이미지를 이동하여 표시하는 단계인 것을 특징으로 하는 방법.
  10. 이미지를 표시하는 휴대단말기에 있어서,
    피사체에 대한 적어도 하나 이상의 이미지를 연속적으로 생성하는 카메라; 및
    상기 이미지들의 중심점을 계산하고, 상기 피사체에 대한 공간감을 제공하는 공간 이미지를 상기 중심점을 이용하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 휴대단말기.
  11. 제 10 항에 있어서, 상기 제어부는,
    사용자의 제스처에 따라 상기 공간 이미지를 이동하여 표시하도록 제어하는 것을 특징으로 하는 휴대단말기.
  12. 제 11항에 있어서, 상기 제어부는,
    관성 센서를 이용하여, 상기 이미지들을 생성한 이동 경로를 인식하는 단계를 포함하는 것을 특징으로 하는 휴대단말기.
  13. 제 12항에 있어서, 상기 제어부는,
    상기 이미지들을 생성한 시간 또는 위치를 기준으로 적어도 하나 이상의 키프레임을 추출하고, 상기 키프레임을 이용하여 상기 중심점을 계산하는 것을 특징으로 하는 휴대단말기.
  14. 제 13항에 있어서, 상기 제어부는,
    상기 이미지들을 생성한 전체 시간을 미리 설정한 숫자만큼 분할하고, 상기 분할된 시간에 해당하는 이미지들을 상기 키프레임으로 추출하는 것을 특징으로 하는 휴대단말기.
  15. 제 13항에 있어서, 상기 제어부는,
    상기 이미지들을 생성한 전체 거리를 미리 설정한 숫자만큼 분할하고, 상기 분할된 거리에 해당하는 이미지들을 상기 키프레임으로 추출하는 것을 특징으로 하는 휴대단말기.
  16. 제 14항 또는 제 15항에 있어서, 상기 제어부는,
    상기 키프레임들을 모두 포함하는 최소의 직사각형을 추출하고, 상기 직사각형의 대각선이 교차하는 지점을 상기 중심점으로 계산하는 것을 특징으로 하는 휴대단말기.
  17. 제 16항에 있어서, 상기 제어부는,
    상기 공간 이미지에 대한 사용자 머리의 상,하,좌,우,앞, 뒤 움직임을 인식하고, 상기 움직임에 따라 상기 공간 이미지를 이동하여 표시하도록 제어하는 것을 특징으로 하는 휴대단말기.
  18. 제 17항에 있어서, 상기 제어부는,
    상기 공간 이미지를 표시한 상태의 상기 휴대단말기에 대한 상,하,좌,우,앞, 뒤 움직임을 인식하고, 상기 움직임에 따라 상기 공간 이미지를 이동하여 표시하는 것을 특징으로 하는 휴대단말기.
KR20130084502A 2013-07-18 2013-07-18 휴대단말기에서 이미지를 표시하는 방법 및 장치 KR20150010070A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130084502A KR20150010070A (ko) 2013-07-18 2013-07-18 휴대단말기에서 이미지를 표시하는 방법 및 장치
US14/335,168 US20150022559A1 (en) 2013-07-18 2014-07-18 Method and apparatus for displaying images in portable terminal
PCT/KR2014/006567 WO2015009112A1 (en) 2013-07-18 2014-07-18 Method and apparatus for dispalying images in portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130084502A KR20150010070A (ko) 2013-07-18 2013-07-18 휴대단말기에서 이미지를 표시하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150010070A true KR20150010070A (ko) 2015-01-28

Family

ID=52343239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130084502A KR20150010070A (ko) 2013-07-18 2013-07-18 휴대단말기에서 이미지를 표시하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20150022559A1 (ko)
KR (1) KR20150010070A (ko)
WO (1) WO2015009112A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011190A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102374404B1 (ko) 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
KR20200100918A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4401484B2 (ja) * 1999-07-30 2010-01-20 キヤノン株式会社 画像合成装置とその制御方法及び記憶媒体
JP3790126B2 (ja) * 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
KR100842552B1 (ko) * 2006-05-17 2008-07-01 삼성전자주식회사 파노라마 사진 촬영 방법
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US7822292B2 (en) * 2006-12-13 2010-10-26 Adobe Systems Incorporated Rendering images under cylindrical projections
JP5387193B2 (ja) * 2009-07-16 2014-01-15 富士ゼロックス株式会社 画像処理システム、画像処理装置およびプログラム
US9128612B2 (en) * 2009-08-19 2015-09-08 Siemens Aktiengesellschaft Continuous determination of a perspective
KR20120067757A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 항공 영상 간 대응 관계 추출 장치 및 그 방법
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display

Also Published As

Publication number Publication date
WO2015009112A9 (en) 2015-04-23
US20150022559A1 (en) 2015-01-22
WO2015009112A1 (en) 2015-01-22

Similar Documents

Publication Publication Date Title
CN108292489B (zh) 信息处理装置和图像生成方法
KR102497683B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
EP3198866B1 (en) Reconstruction of three-dimensional video
KR101545883B1 (ko) 단말의 카메라 제어 방법 및 그 단말
US9865033B1 (en) Motion-based image views
US20150215532A1 (en) Panoramic image capture
KR20200123223A (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
US9294670B2 (en) Lenticular image capture
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20150213784A1 (en) Motion-based lenticular image display
TWI572203B (zh) 媒體串流系統、控制方法及非暫態電腦可讀取儲存媒體
US11146744B2 (en) Automated interactive system and method for dynamically modifying a live image of a subject
CN110870304B (zh) 向用户提供信息以观察多视图内容的方法和装置
KR20150010070A (ko) 휴대단말기에서 이미지를 표시하는 방법 및 장치
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
EP3805899A1 (en) Head mounted display system and scene scanning method thereof
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
KR102514702B1 (ko) 사진 촬영 이미지를 생성하기 위한 모바일 단말기 및 사진 촬영 이미지를 생성하는 방법
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid