KR101784176B1 - 영상 촬영 장치 및 그 제어방법 - Google Patents

영상 촬영 장치 및 그 제어방법 Download PDF

Info

Publication number
KR101784176B1
KR101784176B1 KR1020110049474A KR20110049474A KR101784176B1 KR 101784176 B1 KR101784176 B1 KR 101784176B1 KR 1020110049474 A KR1020110049474 A KR 1020110049474A KR 20110049474 A KR20110049474 A KR 20110049474A KR 101784176 B1 KR101784176 B1 KR 101784176B1
Authority
KR
South Korea
Prior art keywords
image
photographing apparatus
photographing
preview
image data
Prior art date
Application number
KR1020110049474A
Other languages
English (en)
Other versions
KR20120131365A (ko
Inventor
이승윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110049474A priority Critical patent/KR101784176B1/ko
Priority to US13/474,943 priority patent/US9253405B2/en
Publication of KR20120131365A publication Critical patent/KR20120131365A/ko
Priority to US13/706,554 priority patent/US8633965B2/en
Priority to US14/245,518 priority patent/US8836754B2/en
Priority to US14/508,493 priority patent/US9083884B2/en
Application granted granted Critical
Publication of KR101784176B1 publication Critical patent/KR101784176B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Abstract

프리뷰 파노라마 영상과, 파노라마 촬영 시 영상 촬영 장치의 이동 속도 및 이동 방향에 대한 정보를 실시간으로 표시하는 영상 촬영 장치 및 그 제어방법을 제공한다. 영상 촬영 장치는 영상을 촬영하는 촬영부와, 촬영부에 의해 촬영되는 영상을 프리뷰 영상 데이터로 전환하고, 프리뷰 영상 데이터를 사용하여 프리뷰 파노라마 데이터를 생성하는 영상 처리부와, 프리뷰 영상 데이터 화면과, 프리뷰 파노라마 데이터가 합성되는 과정을 나타내는 화면과, 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향과의 상대적 차이를 나타내는 이동 방향 표시 화면과, 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도와의 상대적 차이를 나타내는 이동 속도 표시 화면을 표시하는 표시부를 포함하므로, 파노라마 촬영 시 프리뷰 파노라마 영상을 실시간으로 확인할 수 있고. 영상 촬영 장치의 이동 속도와 기준 속도의 오차 또는 이동 방향과 기준 방향과의 오차를 확인할 수 있어 영상 촬영 장치의 조작이 용이하게 된다.

Description

영상 촬영 장치 및 그 제어방법{IMAGE PHOTOGRAPHING DEVICE AND CONTROL METHOD THEREOF}
파노라마 영상 생성을 위한 사용자 인터페이스를 제공할 수 있는 영상 촬영 장치 및 그 제어방법에 관한 것이다.
영상 촬영장치는 영상을 획득할 수 있는 촬영부를 구비한다. 촬영부는 렌즈의 초점거리에 맺히는 화상을 획득할 수 있다. 렌즈의 초점거리에 맺히는 화상은 사람의 시각 범위보다 작은 화각 범위를 가진다. 렌즈의 화각 범위가 사람의 시각 범위보다 작은 문제를 해결하기 위해 파노라마 촬영 방식이 제공된다. 파노라마 촬영 방식은 복수 개의 방식이 있으며, 촬영부의 촬영 각도를 변화시키며 복수 개의 화상을 촬영하고, 복수 개의 화상을 순서대로 연결시켜 하나의 영상으로 재구성 하는 방식을 일예로 들 수 있다.
영상 촬영 장치는 파노라마 촬영 모드 시, 복수 개의 화상들을 가로 또는 세로 방향으로 연이어지도록 촬영하여 메모리에 저장한다. 영상 촬영 장치에 구비되는 영상 처리부는 메모리에 저장된 영상들을 제공받는다. 영상 처리부는 제공받은 복수 개의 영상을 하나의 영상으로 연결하는 작업을 한다. 영상 처리부는 화상간의 경계 부분에서 발생하는 색상의 차이 또는 화상의 어긋남을 보정 할 수 있다. 영상 처리부는 정렬(aligning), 스티칭(stitching) 및 블렌딩(blending)과 같은 영상 처리 동작을 수행하여 복수 개의 화상 간의 색상의 차이 또는 화상의 어긋남을 보정할 수 있다.
한편, 파노라마 사진 촬영 방법은 단일 사진 촬영 방법보다 조작이 복잡하고, 숙달을 요구하므로, 사용상 보다 나은 조작 방안과 효율적인 촬영 방안이 요구된다.
본 발명의 일측면은 프리뷰 파노라마 영상을 출력하여 사용자가 파노라마 촬영 중 파노라마 영상을 미리 볼 수 있도록 하는 영상 촬영 장치 및 그 제어방법을 제공한다.
본 발명의 다른 측면은 파노라마 촬영 시 영상 촬영 장치의 이동 속도 및 이동 방향에 대한 정보를 표시하여 사용자의 조작이 용이하게 하는 영상 촬영 장치 및 그 제어방법을 제공한다.
이를 위한 본 발명의 일실시예에 의한 복수 개의 영상을 촬영하고, 촬영 된 복수 개의 영상을 조합하여 하나의 영상을 제작하는 파노라마 촬영을 수행할 수 있는 영상 촬영 장치에 있어서, 상기 영상을 촬영하는 촬영부;와, 상기 촬영부에 의해 촬영되는 영상으로 프리뷰 영상 데이터를 생성하고, 상기 프리뷰 영상 데이터로 프리뷰 파노라마 데이터를 생성하는 영상 처리부; 및 상기 프리뷰 영상 데이터를 화면에 표시하고, 상기 프리뷰 파노라마 데이터가 합성되는 과정을 상기 화면에 동시에 출력하는 표시부를 포함할 수 있다.
상기 영상 처리부는 상기 프리뷰 영상 데이터의 크기를 줄이고, 상기 줄어든 프리뷰 영상 데이터를 매핑하여 상기 프리뷰 파노라마 데이터를 생성할 수 있다.
상기 파노라마 촬영 시 상기 영상 촬영 장치의 이동 방향 및 이동 속도에 대한 정보를 포함하는 모션 벡터를 검출하는 검출부를 더 포함할 수 있다.
상기 영상 처리부는 상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향과의 상대적 차이를 나타내는 이동 방향 표시 화면과, 상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도와의 상대적 차이를 나타내는 이동 속도 표시 화면을 생성하여 상기 표시부를 통해 출력할 수 있다.
상기 영상 촬영 장치의 이동 방향이 기준 방향과 미리 정해진 각도 이상 차이나거나, 상기 영상 촬영 장치의 이동 속도가 기준 속도보다 미리 정해진 크기 이상 차이가 나면 상기 파노라마 촬영을 정지하는 제어부를 더 포함할 수 있다.
상기 제어부는 상기 영상 촬영 장치의 이동 방향이 상기 기준 방향과 미리 정해진 각도 이상 차이나지 않지만, 상기 프리뷰 파노라마 데이터의 합성 작업이 정상적으로 이루어지지 않는 방향으로 상기 영상 촬영 장치가 이동하는 경우 상기 합성 작업이 비정상적으로 수행되는 것을 표시하도록 상기 영상 처리부를 제어할 수 있다.
상기 제어부는 상기 영상 촬영 장치의 이동 속도가 상기 기준 속도와 미리 정해진 크기 이상 차이나지 않지만, 상기 영상 촬영 장치가 상기 프리뷰 파노라마 데이터의 합성 작업이 정상적으로 이루어지지 않는 속도로 이동하는 경우 상기 합성 작업이 비정상적으로 수행되는 것을 표시하도록 상기 영상 처리부를 제어할 수 있다.
상기 영상 촬영 장치의 촬영 모드는 일반 촬영 모드 또는 파노라마 촬영 모드를 포함하고, 상기 일반 촬영 모드 또는 파노라마 촬영 모드 중 어느 하나의 촬영 모드를 선택할 수 있도록 모드 설정키를 구비하는 입력부를 더 포함할 수 있다.
그리고, 본 발명의 일실시예에 의한 영상 촬영 장치의 제어방법은 복수 개의 영상을 촬영하고, 촬영 된 복수 개의 영상을 조합하여 하나의 영상을 제작하는 파노라마 촬영을 수행할 수 있는 영상 촬영 장치의 제어방법에 있어서, 상기 복수 개의 영상을 촬영하고, 상기 복수 개의 영상을 프리뷰 영상 데이터로 전환하고, 상기 프리뷰 영상 데이터를 사용하여 프리뷰 파노라마 데이터를 생성하며, 상기 프리뷰 영상 데이터를 표시하는 화면과, 상기 프리뷰 영상 데이터를 합성하여 상기 프리뷰 파노라마 데이터를 생성하는 과정을 표시하는 화면을 동시에 출력할 수 있다.
상기 프리뷰 영상 데이터를 사용하여 프리뷰 파노라마 데이터를 생성하는 것은, 상기 프리뷰 영상 데이터의 크기를 줄이고, 상기 줄어든 프리뷰 영상 데이터를 매핑하여 상기 프리뷰 파노라마 데이터를 생성할 수 있다.
상기 파노라마 촬영 시 상기 영상 촬영 장치의 이동 방향과 이동 속도에 대한 정보를 포함하는 모션 벡터를 산출하는 것을 더 포함할수 있다.
상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향과의 상대적 차이를 나타내는 이동 방향 표시 화면을 표시하는 것을 더 포함할 수 있다.
상기 영상 촬영 장치의 이동 방향이 상기 기준 방향과 미리 정해진 크기 이상 차이나면 상기 파노라마 촬영을 정지할 수 있다.
상기 영상 촬영 장치의 이동 방향이 상기 기준 방향과 미리 정해진 크기 이상 차이나지 않지만, 상기 프리뷰 파노라마 데이터의 합성 작업이 정상적으로 이루어지지 않는 방향으로 상기 영상 촬영 장치가 이동하는 경우 상기 합성 작업이 비정상적으로 수행되는 것을 표시할 수 있다.
상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도와의 상대적 차이를 나타내는 이동 속도 표시 화면을 표시하는 것을 더 포함할 수 있다.
상기 영상 촬영 장치의 이동 속도가 상기 기준 속도보다 미리 정해진 크기 이상 크면 상기 파노라마 촬영을 정지할 수 있다.
상기 영상 촬영 장치의 이동 속도가 상기 기준 속도와 미리 정해진 크기 이상 차이나지 않지만, 상기 영상 촬영 장치가 상기 프리뷰 파노라마 데이터의 합성 작업이 정상적으로 이루어지지 않는 속도로 이동하는 경우 상기 합성 작업이 비정상적으로 수행되는 것을 표시할 수 있다.
한편, 상술한 본 발명의 일측면에 의하면 파노라마 촬영 시 프리뷰 파노라마 영상을 실시간으로 확인할 수 있다.
그리고, 본 발명의 다른 측면에 의하면, 파노라마 촬영 시 영상 촬영 장치의 이동 속도와 이동 방향이 기준 속도 및 기준 방향과 비교 시 오차가 어느 정도 있는 지 확인할 수 있어 영상 촬영 장치의 조작이 용이하게 된다.
도 1은 본 발명의 일실시예에 의한 영상 촬영 장치의 사시도
도 2는 도 1의 영상촬영장치의 후면도
도 3은 본 발명의 일실시예에 의한 영상 촬영 장치의 제어블록도
도 4a 내지 도 4e는 본 발명의 일실시예에 의한 영상 촬영 장치의 표시부를 통해 프리뷰 영상 데이터와 프리뷰 파노라마 데이터를 촬영 시간순으로 도시한 도면
도 5는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 방향과 이동 속도를 표시하는 화면을 도시한 도면
도 6는 도 5에 도시된 속도 표시 화면(200), 방향 표시 화면(300)을 다른 방식으로 표시한 도면
도 7a는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 속도를 나타내는 도면
도 7b 및 도 7c는 도 7a에 도시된 영상 촬영 장치의 이동에 따른 속도 표시 화면을 나타낸 도면
도 8a는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 방향을 나타내는 도면
도 8b 및 도 8c는 도 8a에 도시된 영상 촬영 장치의 이동에 따른 이동 방향 표시 화면을 나타낸 도면
도 9는 본 발명의 일실시예에 의한 영상 촬영 장치의 프리뷰 파노라마 촬영 방식을 설명하기 위한 제어흐름도
도 10은 본 발명의 일실시예에 의한 영상 촬영 장치의 파노라마 촬영 시, 이동 시간 및 이동 속도에 따른 제어 방식을 설명하기 위한 제어흐름도
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 의한 영상 촬영 장치의 사시도이고, 도 2는 도 1의 영상촬영장치의 후면도이다.
도 1을 참조하면, 영상 촬영 장치(1)에는 촬영 동작을 위한 셔터버튼(10), 메뉴의 설정을 맞추는 조그다이얼(11), 촬영 모드를 설정할 수 있는 모드다이얼(12),전원의 온/오프를 조작할 수 있는 파워 스위치(13), 음성을 출력하는 스피커(14), 자동 포커스를 맞추는 경우 광을 발산하는 AF(Auto-Focus) 보조광(15), 음성을 입력할 수 있는 마이크(16) 리모콘의 신호를 수신하는 리모콘 수신부(17), 피사체를 촬영하는 렌즈(18), 영상 촬영 장치(1)에서 촬영되는 이미지를 미리 확인할 수 있도록 마련되는 뷰 파인더 렌즈(19), 광을 발산하는 플래시(20) 등이 마련될 수 있다.
도 2를 참조하면, 영상 촬영 장치(1)에는 촬영되는 이미지를 미리 확인할 수 있는 뷰파인더(21), 램프로 자동 초점 및 플래시 상태를 나타내는 자동초점램프(22) 및 플래시 상태램프(23), LCD의 온/오프를 조작할 수 있는 LCD 버튼(24), 광각줌 또는 망원줌을 지원하는 광각줌 버튼(25) 및 망원줌 버튼(26), 여러 가지의 기능을 설정 및 해제할 수 있는 기능버튼(27)과 그 외에 DC입력단자(28), 외부출력단자(29), 재생모드버튼(30), LCD 모니터(31), 수동초점 버튼(32), 자동노출 잠금 버튼(33), 촬영 화질 조정버튼(34) 등이 마련될 수 있다.
LCD 모니터(31)는 영상 촬영 장치(1)의 현재 촬영 모드와 상태를 나타내는 OSD(On Screen Display)를 표시할 수 있으며, 이하 "화면(31)"이라 한다.
도 3은 본 발명의 일실시예에 의한 영상 촬영 장치의 제어블록도이다.
영상 촬영 장치(1)는 입력부(100), 렌즈부(110), 촬영부(120), 영상 처리부(130), 검출부(140), 저장부(150), 제어부(160) 및 표시부(170)를 포함할 수 있다.
입력부(100)는 도 1 및 2에 도시한 각종 기능 키를 포함한다. 입력부(100)는 영상 촬영 장치(1)의 촬영 모드를 설정하는 모드다이얼(12)를 포함할 수 있다. 모드는 일반 촬영 모드 또는 파노라마 촬영 모드를 포함할 수 있다. 입력부(100)는 사용자가 입력하는 키에 대응하는 키 입력 신호를 제어부(160)로 출력할 수 있다.
촬영부(120)는 인출 및 인입이 가능한 렌즈부(110)를 포함할 수 있다. 촬영부(120)는 렌즈부(110)를 통해 영상 데이터를 촬영할 수 있다. 촬영부(120)는 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(미도시)와, 카메라 센서로부터 촬영되는 아날로그 데이터를 디지털 데이터로 변환하는 신호 처리부(미도시)를 포함할 수 있다.
검출부(140)는 모션 벡터 산출부(145)를 포함할 수 있다. 모션 벡터 산출부(145)는 현재 입력된 영상을 이전에 입력된 영상과 비교하여 두 이미지 간의 색 차이(RGB 값의 차이)가 나타나는 부분을 중심으로 영상 촬영 장치(1)의 움직임에 대한 모션 벡터를 검출할 수 있다. 예를 들면, 검출부(140)는 연속된 두 입력 영상을 복수의 픽셀로 구성된 블록으로 각각 분할하고, 두 영상에서 동일 위치의 블록에 대해 블록 내 픽셀의 RGB 컬러 값을 비교하여 색번호에 따른 차이를 계산하여 모션 벡터를 검출할 수 있다. 다만, 모션 벡터를 산출하는 방법은 다양할 수 있고 본 실시예는 그 방법에 제한을 받지 아니한다.
검출부(140)는 조도 측정을 수행할 수 있는 조도 센서, 피사체와의 초점 거리 측정을 위한 거리 센서를 포함할 수 있다.
영상 처리부(130)는 촬영부(120)로부터 프레임 단위로 수신된 RAW 형태의 영상 데이터를 이미지 처리가 가능한 RGB 또는 YUV 데이터로 변환하게 되며, 이미지 처리를 위한 자동 노출, 화이트 밸런스, 오토 포커스, 노이즈 제거 등의 동작을 수행할 수 있다. 영상 처리부(130)는 촬영부(120)에서 출력되는 영상 데이터를 표시부(170)의 특성 및 크기에 맞춰 설정된 방식으로 압축하거나, 압축된 영상 데이터를 원래의 영상 데이터로 복원할 수 있다. 영상 처리부(130)는 OSD(On Screen Display)기능을 구비한다고 가정하며, 표시되는 화면 크기에 따라 프리뷰 영상 데이터를 출력할 수 있다.
영상 처리부(130)는 파노라마 촬영 모드 시, 프리뷰 영상 데이터를 생성하여 저장부(150)에 임시 저장한다. 영상 처리부(130)는 저장부(150)에 임시 저장된 프리뷰 영상 데이터의 크기를 리사이징한다. 예를 들면, 영상 처리부(130)는 2048*1280 크기의 프리뷰 영상 데이터를 320*240 크기로 줄일 수 있다. 영상 처리부(130)는 리사이징된 프리뷰 영상 데이터의 중복 영역을 확인하고, 각 프리뷰 영상 데이터를 매핑하여 프리뷰 파노라마 데이터를 생성할 수 있다.
영상 처리부(130)는 파노라마 촬영 모드 시, 프리뷰 영상 데이터를 표시하는 화면과 프리뷰 파노라마 데이터를 표시하는 화면이 표시부(170)에서 동시에 출력되도록 전송할 수 있다. 영상 처리부(130)는 프리뷰 영상 데이터를 표시하는 화면과 프리뷰 파노라마 데이터를 표시하는 화면을 실시간으로 갱신하여 표시할 수 있다. 영상 처리부(130)는 영상 촬영 장치(1)의 이동 시 촬영되는 프리뷰 영상 데이터를 사용하여 프리뷰 파노라마 데이터가 합성되는 영상(예를 들면, 스티칭이 진행되는 영상)을 실시간으로 출력할 수 있다. 프리뷰 파노라마 데이터의 스티칭이 진행되는 영상은 복수 개의 프리뷰 영상 데이터를 매핑하여 하나의 이미지로 완성해가는 영상이다.
여기서, 프리뷰 영상 데이터를 표시하는 것은 실시간으로 촬영되는 라이브 영상을 화면에 표시하는 것이며, 프리뷰 파노라마 데이터를 표시하는 것은 파노라마 영상 생성 시 스티칭에 사용되는 영상을 실시간으로 표시하는 것이다.
영상 처리부(130)는 파노라마 촬영 모드 시, 영상 촬영 장치(1)의 촬영부(120)가 수동 또는 자동으로 이동되는 경우 검출부(140)로부터 전송되는 모션 벡터에 대한 정보에 따라 영상 촬영 장치(1)의 이동 방향과 속도를 표시하는 화면을 표시부(170)를 통해 출력할 수 있다.
저장부(150)는 프로그램 메모리와 데이터 메모리를 포함할 수 있다. 저장부(150)는 영상 촬영 장치(1)의 동작 제어를 위해 필요한 각종 정보 및 사용자 선택 정보를 저장할 수 있다. 데이터 메모리는 촬영된 영상 데이터를 저장하고, 프로그램 메모리는 렌즈부(110)를 제어하는 프로그램을 저장할 수 있다. 저장부(150)는 피사체와 영상 촬영 장치(1)의 거리에 따른 줌 단계를 대응시킨 정보를 저장할 수 있다. 저장부(150)는 영상 처리부(130)로부터 출력되는 프리뷰 영상 데이터와, 프리뷰 영상 데이터를 조합하여 생성된 프리뷰 파노라마 데이터를 저장할 수 있다.
제어부(160)는 각 기능부의 동작을 총괄적으로 제어한다. 제어부(160)는 촬영부(120)를 통해 외부 신호를 입력 받아 처리하고, 촬영 영상을 비롯한 각종 동작에 필요한 영상 출력 신호를 표시부(170)를 통해 출력하도록 제어할 수 있다.
제어부(160)는 사용자가 입력부(100)를 통해 파노라마 촬영 모드를 선택하면 영상 촬영 장치(1)의 촬영 모드를 파노라마 촬영 모드로 변환한다. 파노라마 촬영 모드는 촬영부(120)의 촬영 각도를 변화시키며 복수 개의 화상을 촬영하고, 복수 개의 화상을 순서대로 연결시켜 하나의 영상으로 재구성 하는 촬영 모드이다. 여기서, 복수 개의 화상은 연속되는 동영상 형태로 촬영될 수 있다.
제어부(160)는 검출부(140)로부터 전송되는 모션 벡터에 의한 정보에 따라 영상 처리부(130)를 제어하여 표시부(170)로 출력되는 속도 표시 화면 또는 방향 표시 화면을 조정할 수 있다.
제어부(160)는 검출부(140)에서 출력되는 모션 벡터에 대한 정보로부터 속도 정보를 추출하고, 영상 촬영 장치(1)의 이동 속도가 기준 속도보다 일정 크기 이상 크면 파노라마 촬영 모드에 의한 동작을 종료하고, 프리뷰 파노라마 영상 출력을 중단시킬 수 있다. 기준 속도는 파노라마 촬영 모드에 의한 촬영 시, 정상적인 촬영을 위한 최적의 속도로서 설계자에 의해 설정된다.
한편, 파노라마 촬영 모드에 의한 촬영 시, 촬영부(120)의 이동 속도가 파노라마 영상 합성이 정상적으로 수행될 수 없는 속도이지만 기준 속도와의 차이가 일정 크기 이상 나지 않는 경우, 정상적으로 스티칭 작업이 이루어지지 않는 프리뷰 파노라마 영상이 표시부(170)를 통해 출력된다. 사용자는 프리뷰 파노라마 영상이 정상적이지 않은 것을 확인하고, 이동 속도를 낮출 수 있다.
제어부(160)는 검출부(140)에서 출력되는 모션 벡터에 대한 정보로부터 이동 방향 정보를 추출하고, 이동 방향이 기준 방향보다 일정 각도 이상 벗어나면 파노라마 촬영 모드에 의한 동작을 종료하고 표시부(170)에 의한 프리뷰 파노라마 영상의 출력을 중단시킬 수 있다. 여기서, 기준 방향은 파노라마 촬영을 위해 이동해야 하는 최적의 방향이다. 기준 방향은 설계자에 의해 정해지며, 파노라마 촬영 방식에 따라 달라지도록 설계된다. 파노라마 촬영 방식은 평면형의 파노라마 영상을 생성하는 방식, 실린더형 파노라마 영상을 생성하는 방식 등을 예로 들 수 있다. 다양한 파노라마 촬영 방식에 대응하는 영상 촬영 장치(1)의 최적의 이동 방향은 각 파노라마 방식에 따라 설계 시 고려되며, 최적의 이동 방향이 기준 방향으로 정해질 수 있게 된다. 여기서, 기준 방향이 정해진다는 것은 절대적인 방향이 정해진다는 의미가 아니며, 파노라마 촬영 방식에 맞는 기준 방향이 정해진다는 의미이다. 예를 들면, 평면형의 파노라마 영상을 생성하는 방식의 경우, 최초 이동 방향이 기준 방향으로 설정되게끔 설계될 수 있다. 이하, 본 발명의 명확한 설명을 위해 평면형 파노라마 영상을 생성하는 방식을 예로 들어 설명하기로 한다. 다만, 본 발명의 실시예는 평면형 파노라마 영상을 생성하는 방식에 한정되지 않는다.
표시부(170)는 파노라마 촬영 시, 프리뷰 영상 데이터를 표시하는 화면과 프리뷰 파노라마 데이터를 표시하는 화면을 함께 표시할 수 있다.
도 4a 내지 도 4e는 본 발명의 일실시예에 의한 영상 촬영 장치의 표시부를 통해 프리뷰 영상 데이터와 프리뷰 파노라마 데이터를 촬영 시간순으로 도시한 도면이다.
평면형 파노라마 영상을 생성하는 방식 중 가로 방향으로 다수 장면이 일렬로 정렬되는 방식을 예로 들어 설명한다.
제어부(160)는 사용자로부터 입력부(100)를 통해 파노라마 촬영 모드가 선택되면 영상 촬영 장치(1)의 촬영 모드를 파노라마 촬영 모드로 전환한다. 파노라마 촬영 모드로 전환되면, 제어부(160)는 촬영부(120)를 통해 입력되는 동영상이 영상 처리부(130)를 통해 파노라마 영상으로 전환되어 표시부(170)를 통해 출력되도록 제어한다.
영상 촬영 장치(1)는 파노라마 촬영 모드 시, 사용자에 의해 수동으로 이동함에 따라 파노라마 데이터를 생성할 동영상을 촬영한다. 촬영부(120)는 촬영된 동영상을 프레임 단위로 영상 처리부(130)에 전송하며, 영상 처리부(130)는 프레임 단위로 수신된 영상 데이터를 이미지 처리가 가능한 데이터로 변환하고, 표시되는 화면의 크기에 따른 프리뷰 영상 데이터를 출력한다.
영상 처리부(130)를 통해 출력되는 프리뷰 영상 데이터는 표시부(170)를 통해 라이브뷰로 출력되고, 저장부(150)로 전송되어 저장된다. 영상 처리부(130)는 저장부(150)에 저장된 프리뷰 영상 데이터의 크기를 리사이징(정확하게는, down-sizing)한다. 영상 처리부(130)는 리사이징된 프리뷰 영상 데이터의 중복 영역을 확인하고, 각 프리뷰 영상 데이터를 매핑하여 프리뷰 파노라마 데이터를 생성한다. 영상 처리부(130)는 프리뷰 파노라마 데이터 생성 시 스티칭 되는 부분 영상들을 실시간으로 표시부(170)를 통해 출력한다.
도 4a는 영상 처리부(130)에서 생성된 프리뷰 영상 데이터와 프리뷰 파노라마 데이터가 표시부(170)를 통해 출력되기 시작한 화면을 도시한 것이며, 도 4b 내지 4e는 도 4a 이후 영상 촬영 장치(1)가 가로 방향으로 이동 시 프리뷰 파노라마 데이터가 스티칭되는 과정을 도시한 도면이다. 도 4a를 참조하면, a 영역을 촬영하여 프리뷰 영상 데이터를 라이브뷰로 표시하고, a영역에 대한 프리뷰 파노라마 데이터가 화면(31b)에 표시된다. 도 4b를 참조하면, 영상 촬영 장치(1)가 도 4a에 도시한 위치에서 가로 방향으로 이동하여 b영역이 라이브뷰로 화면(31a)에 표시되고, 이전에 만들어진 a영역에 대한 프리뷰 파노라마 데이터에서 b영역으로 이동하면서 새롭게 촬영된 프리뷰 파노라마 데이터가 스티칭되는 장면을 화면(31b)에 실시간으로 출력하는 것이 도시된다. 도 4c 내지 도 4e는 c내지 e영역에 대한 프리뷰 영상 데이터가 화면(31a)에 표시되고, 프리뷰 파노라마 데이터가 스티칭되는 과정이 화면(31b)에 동시에 표시되는 것을 도시한다.
도 4a 내지 도 4e에 도시한 것처럼, 표시부(170)를 통해 출력되는 화면에는 프리뷰 영상 데이터를 나타내는 화면(31a)과, 프리뷰 파노라마 데이터의 스티칭 진행을 나타내는 화면(31b)이 구분되어 동시에 표시된다.
도 5는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 방향과 이동 속도를 표시하는 화면을 도시한 도면이다.
모션 벡터 산출부(145)는 현재 영상 촬영 장치(1)로 입력되는 영상과 이전에 입력된 영상을 비교하고, 두 이미지 간의 색차이가 나타나는 부분을 중심으로 영상 촬영 장치(1)의 움직임에 대한 모션 벡터를 검출할 수 있다. 모션 벡터는 영상 촬영 장치(1)의 이동 방향과 이동 속도에 대한 정보를 포함한다.
영상 촬영 장치(1)는 파노라마 촬영 시, 미리 설정된 기준 속도와, 기준 속도에 상대적인 현재 이동 속도를 화면에 표시할 수 있다. 도 5를 참조하면, 참조 번호 210이 기준속도이며, 참조 번호 220이 기준 속도에 상대적인 현재 이동 속도를 나타낸다. 도 5의 화면에 표시된 현재 이동 속도 표시선(220)이 기준 속도 표시선(210)보다 상부에 있으면, 현재 이동 속도가 기준 속도보다 빠른 것이고, 현재 이동 속도 표시선(220)이 기준 속도 표시선(210)보다 하부에 있으면 현재 이동 속도가 기준 속도보다 느린 것이다. 사용자는 표시부(170)를 통해 출력되는 속도 표시 화면(200)을 참조하여 영상 촬영 장치(1)의 이동 속도를 비교적 수월하게 조절할 수 있다.
영상 촬영 장치(1)는 파노라마 촬영 시, 미리 설정된 기준 방향과, 기준 방향에 상대적인 현재 이동 방향을 화면에 표시할 수 있다. 도 5를 참조하면, 참조 번호 310이 기준 방향 표시선이며, 참조 번호 320가 기준방향에 상대적인 현재 이동 방향 표시선이다. 도 5에서 화면에 표시된 현재 이동 방향 표시선(320)이 기준 방향 표시선(310)보다 상부에 있으면, 현재 이동 방향이 기준 방향을 기준으로 상부로 이동하는 것이고, 현재 이동 방향 표시선(320)이 기준 방향 표시선(310)보다 하부에 있으면 현재 이동 방향이 기준 방향을 기준으로 하부로 이동하는 것이다.
도 6는 도 5에 도시된 속도 표시 화면(200), 방향 표시 화면(300)을 다른 방식으로 표시한 도면이다.
도 6에서는, 속도 표시 화면(200)과, 방향 표시 화면(300)이 게이지 형식으로 표시된다.
속도 표시 게이지는 설계에 따라 변화될 수 있지만, 12시 방향이 기준 속도이고, 12시 방향을 기준으로 오른쪽으로 지시선(230)이 이동하면 현재 이동 속도가 기준 속도보다 빠른 것이고, 12시 방향으로 기준으로 왼쪽으로 지시선(230)이 이동하면 현재 이동 속도가 기준 속도보다 느린 것을 나타내도록 설계될 수 있다.(여기서, 시계방향으로 지시선이 돌아 6시 방향을 지나게 되거나, 반시계방향으로 지시선이 돌아 6시 방향을 지나게 되면파노라마 촬영이 정지되도록 설계될 수 있음)
방향 표시 게이지는 설계에 따라 변화될 수 있지만, 12시 방향이 기준 방향이 되고, 12시 방향을 기준으로 오른쪽으로 지시선(330)이 이동하면 현재 이동 방향이 기준 방향의 상부 방향으로 이동하고 있는 것이고, 12시 방향을 기준으로 왼쪽으로 지시선(330)이 이동하면 현재 이동 방향이 기준 방향의 하부 방향으로 이동하고 있는 것이다.
한편, 도 5 및 도 6에서 속도 표시 화면과 방향 표시 화면을 구체적인 예로 들어 설명하였으나 본 발명의 실시예는 이에 한정되는 것이 아니며, 영상 촬영 장치(1)의 파노라파 촬영 시 이동 속도 및 이동 방향을 표시할 수 있는 화면이면 본 발명의 실시예에 포함되는 것은 물론이다.
한편, 영상 촬영 장치(1)는 파노라마 촬영 시, 기준 방향을 기준으로 영상 촬영 장치(1)의 이동 방향이 일정 각도 이상 차이 나면 파노라마 촬영이 종료되며, 기준 속도를 기준으로 영상 촬영 장치(1)의 이동 속도가 일정 속도 이상 차이 나면 파노라마 촬영이 정지된다.
도 7a는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 속도를 나타내는 도면이고, 도 7b 및 도 7c는 도 7a에 도시된 영상 촬영 장치의 이동에 따른 속도 표시 화면을 나타낸 도면이다.
도 7a를 참조하면, 영상 촬영 장치(1)는 파노라마 촬영 시, 사용자에 의해 7cm/sec로 이동하고 있다. 이 때, 기준 속도가 5cm/sec라고 가정하면 +2cm/sec의 속도가 넘어선 상태이므로 도 7b 및 도 7c는 영상 촬영 장치(1)의 이동 속도가 +2cm/sec만큼 넘어선 상태인 것을 나타내게 된다.
한편, 영상 촬영 장치(1)의 속도가 100cm/sec 이상되면 파노라마 촬영이 정지되도록 설계될 수 있다.
도 8a는 본 발명의 일실시예에 의한 영상 촬영 장치의 이동 방향을 나타내는 도면이고, 도 8b 및 도 8c는 도 8a에 도시된 영상 촬영 장치의 이동에 따른 이동 방향 표시 화면을 나타낸 도면이다.
도 8a를 참조하면, 영상 촬영 장치(1)는 파노라마 촬영 중 기준 방향을 기준으로 상부 +30° 방향으로 이동하고 있으며, 도 8b 및 도 8c를 참조하면, 이동 방향 표시 화면(300)에 영상 촬영 장치(1)의 이동 방향이 기준 방향을 기준으로 +30° 방향 어긋나 있다는 것이 나타난다. 사용자는 이동 방향 표시 화면(300)을 참조하여 영상 촬영 장치(1)의 이동 방향을 수월하게 조정할 수 있다.
한편, 도 8a를 참조하면, 영상 촬영 장치(1)의 이동 방향이 기준 방향을 기준으로 ±90° 이상 벗어나게 되면, 파노라마 촬영이 정지되도록 설계될 수 있다. 다만, 영상 촬영 장치(1)의 파노라마 촬영이 정지되는 각도(기준방향과 어긋나는 각도)는 설계자 또는 사용자에 의해 정해질 수 있다.
도 9는 본 발명의 일실시예에 의한 영상 촬영 장치의 프리뷰 파노라마 촬영 방식을 설명하기 위한 제어흐름도이다.
영상 촬영 장치(1)의 제어부(160)는 사용자로부터 입력부(100)를 통해 파노라마 촬영 모드가 선택되면 영상 촬영 장치(1)의 촬영 모드를 파노라마 촬영 모드로 전환한다. 파노라마 촬영 모드로 전환되면, 제어부(160)는 촬영부(120)를 통해 입력되는 동영상이 영상 처리부(130)를 통해 파노라마 영상으로 전환되도록 한다.(400,410)
영상 처리부(130)는 촬영부(120)로부터 프레임 단위로 수신된 RAW 형태의 영상 데이터를 이미지 처리가 가능한 RGB 또는 YUV 데이터로 변환하게 되며, 이미지 처리를 위한 자동 노출, 화이트 밸런스, 오토 포커스, 노이즈 제거 등의 동작을 수행할 수 있다. 영상 처리부(130)는 촬영부(120)에서 출력되는 데이터를 표시부(170)의 특성 및 크기에 맞추는 작업을 수행하여 프리뷰 영상 데이터를 출력한다.(420)
영상 처리부(130)는 프리뷰 영상 데이터를 생성하여 저장부(150)에 임시 저장한다. 영상 처리부(130)는 저장부(150)에 임시 저장된 프리뷰 영상 데이터의 크기를 리사이징한다. 영상 처리부(130)는 리사이징된 프리뷰 영상 데이터의 중복 영역을 확인하고, 각 프리뷰 영상 데이터를 매핑하여 프리뷰 파노라마 데이터를 생성한다.(430)
영상 처리부(130)는 프리뷰 영상 데이터를 표시하는 화면과 프리뷰 파노라마 데이터를 표시하는 화면을 동시에 출력한다. 즉, 영상 처리부(130)는 영상 촬영 장치(1)의 이동 시 촬영되는 프리뷰 영상 데이터를 이용하여 프리뷰 파노라마 데이터가 합성되는 과정을 실시간으로 출력한다.(440)
도 10은 본 발명의 일실시예에 의한 영상 촬영 장치의 파노라마 촬영 시, 이동 시간 및 이동 속도에 따른 제어 방식을 설명하기 위한 제어흐름도이다.
영상 촬영 장치(1)의 제어부(160)는 사용자로부터 입력부(100)를 통해 파노라마 촬영 모드가 선택되면 영상 촬영 장치(1)의 촬영 모드를 파노라마 촬영 모드로 전환한다. 파노라마 촬영 모드로 전환되면, 제어부(160)는 촬영부(120)를 통해 입력되는 동영상이 영상 처리부(130)를 통해 파노라마 영상으로 전환되도록 한다.(500,510)
검출부(140)의 모션 벡터 산출부(145)는 현재 입력된 영상을 이전에 입력된 영상과 비교하여 두 이미지 간의 색 차이(RGB 값의 차이)가 나타나는 부분을 중심으로 영상 촬영 장치(1)의 움직임에 대한 모션 벡터를 검출한다.(520)
영상 처리부(130)는 파노라마 촬영 시, 제어부(160)를 통해 입력받은 기준 속도 및 기준 방향에 대한 정보와, 영상 촬영 장치(1)의 현재 이동 속도 및 이동 방향에 대한 정보를 조합하여 속도 표시 화면과, 방향 표시 화면이 표시부(170)를 통해 출력되도록 한다.(530)
제어부(160)는 영상 촬영 장치(1)의 이동 속도를 확인하고, 영상 촬영 장치(1)의 이동 속도를 기준 속도와 비교 시, 미리 정해진 속도 이상 차이가 나면 파노라마 촬영을 종료한다.(540,560)
제어부(160)는 영상 촬영 장치(1)의 이동 방향을 확인하고, 영상 촬영 장치(1)의 이동 방향이 기준 방향과 일정 각도 이상 차이나면 파노라마 촬영을 종료한다.(550,560)
한편, 상술한 기준 속도와 기준 방향은 파노라마 촬영 모드의 세부 모드에 따라 변화되는 수치일 수 있으며, 설계자 또는 사용자에 의해 설정될 수 있다. 또한, 기준 속도와 기준 방향은 일정한 속도 또는 일정한 방향에만 한정되는 것은 아니며 세부 모드에 따라 실시간으로 변화되는 값일 수 있다. 여기서, 속도 표시 화면과 이동 방향 표시 화면에 나타나는 값은 기준 속도 및 기준 방향과의 상대적 차이를 나타내는 것이므로 기준 속도와 기준 방향이 변하는 값이라도, 그 차이만 보여주면 된다.

Claims (20)

  1. 복수의 영상을 촬영하고, 상기 복수의 영상을 파노라마 영상으로 조합하는 영상 촬영 장치에 있어서,
    상기 복수의 영상을 촬영하는 촬영부;
    프리뷰 영상 데이터를 생성하고, 프리뷰 파노라마 영상 데이터를 생성하는 영상 처리부; 및
    상기 프리뷰 영상 데이터와 상기 프리뷰 파노라마 영상 데이터를 표시하는 표시부를 포함하고,
    상기 표시부는 상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이를 나타내는 상기 영상 촬영 장치의 이동 방향 관련 정보를 더 표시하는 영상 촬영 장치.
  2. 제1항에 있어서,
    상기 표시부는 상기 미리 정해진 기준 방향을 나타내는 기준선과 상기 영상 촬영 장치의 이동 방향을 나타내는 표시자를 표시하는 영상 촬영 장치.
  3. 제2항에 있어서,
    상기 상대적인 차이는 상기 기준 방향으로부터 상기 영상 촬영 장치의 이동 방향의 수직 방향 편차를 나타내는 영상 촬영 장치.
  4. 제3항에 있어서,
    상기 표시자는 상기 수직 방향 편차에 따라 상기 기준선의 상하로 이동되는 영상 촬영 장치.
  5. 제1항에 있어서,
    상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 제어부를 더 포함하는 영상 촬영 장치.
  6. 제1항에 있어서,
    상기 표시부는 상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도 사이의 상대적인 차이를 나타내는 상기 영상 촬영 장치의 이동 속도 관련 정보를 더 표시하는 영상 촬영 장치.
  7. 제6항에 있어서,
    상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 제어부를 더 포함하는 영상 촬영 장치.
  8. 제1항에 있어서,
    상기 영상 처리부는 상기 프리뷰 영상 데이터의 크기를 줄이고 크기가 줄어든 프리뷰 영상 데이터를 조합함으로써 상기 프리뷰 파노라마 영상 데이터를 생성하는 영상 촬영 장치.
  9. 복수의 영상을 촬영하고, 상기 복수의 영상을 파노라마 영상으로 조합하는 영상 촬영 장치의 제어 방법에 있어서,
    상기 복수의 영상을 촬영하는 과정;
    프리뷰 영상 데이터를 생성하는 과정;
    프리뷰 파노라마 영상 데이터를 생성하는 과정;
    상기 프리뷰 영상 데이터와, 상기 프리뷰 파노라마 영상 데이터와, 상기 영상 촬영 장치의 이동 방향 관련 정보를 표시하는 과정을 포함하고,
    상기 영상 촬영 장치의 이동 방향 관련 정보는 상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이를 나타내는 영상 촬영 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 영상 촬영 장치의 이동 방향 관련 정보를 표시하는 과정은,
    상기 미리 정해진 기준 방향을 나타내는 기준선과 상기 영상 촬영 장치의 이동 방향을 나타내는 표시자를 표시하는 과정을 포함하는 영상 촬영 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 상대적인 차이는 상기 기준 방향으로부터 상기 영상 촬영 장치의 이동 방향의 수직 방향 편차를 나타내는 영상 촬영 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 영상 촬영 장치의 이동 방향 관련 정보를 표시하는 과정은,
    상기 수직 방향 편차에 따라 상기 표시자를 상기 기준선의 상하로 이동하는 과정을 포함하는 영상 촬영 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 과정을 더 포함하는 영상 촬영 장치의 제어 방법.
  14. 제9항에 있어서,
    상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도 사이의 상대적인 차이를 나타내는 상기 영상 촬영 장치의 이동 속도 관련 정보를 표시하는 과정을 더 포함하는 영상 촬영 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 영상 촬영 장치의 이동 속도와 미리 정해진 기준 속도 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 과정을 더 포함하는 영상 촬영 장치의 제어 방법.
  16. 제9항에 있어서,
    상기 프리뷰 파노라마 영상 데이터를 생성하는 과정은,
    상기 프리뷰 영상 데이터의 크기를 줄이고 크기가 줄어든 프리뷰 영상 데이터를 조합함으로써 상기 프리뷰 파노라마 영상 데이터를 생성하는 과정을 포함하는 영상 촬영 장치의 제어 방법.
  17. 파노라마 촬영이 가능한 영상 촬영 장치에 있어서,
    복수의 영상을 촬영하는 촬영부;
    상기 복수의 영상으로부터 프리뷰 영상 데이터와 프리뷰 파노라마 영상 데이터를 생성하는 영상 처리부;
    상기 프리뷰 영상 데이터와 상기 프리뷰 파노라마 영상 데이터를 표시하는 표시부; 및
    상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 제어부를 포함하는 영상 촬영 장치.
  18. 제17항에 있어서,
    상기 표시부는 상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이를 나타내는 상기 영상 촬영 장치의 이동 방향 관련 정보를 더 표시하는 영상 촬영 장치.
  19. 파노라마 촬영이 가능한 영상 촬영 장치의 제어 방법에 있어서,
    복수의 영상을 촬영하는 과정;
    상기 복수의 영상으로부터 프리뷰 영상 데이터와 프리뷰 파노라마 영상 데이터를 생성하는 과정;
    상기 프리뷰 영상 데이터와, 상기 프리뷰 파노라마 영상 데이터와, 상기 영상 촬영 장치의 이동 방향 관련 정보를 표시하는 과정;
    상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이가 미리 정해진 크기보다 크면 상기 파노라마 촬영을 중지하는 과정을 포함하는 영상 촬영 장치의 제어 방법.
  20. 제19항에 있어서,
    상기 영상 촬영 장치의 이동 방향 관련 정보는 상기 영상 촬영 장치의 이동 방향과 미리 정해진 기준 방향 사이의 상대적인 차이를 나타내는 영상 촬영 장치의 제어 방법.
KR1020110049474A 2011-05-25 2011-05-25 영상 촬영 장치 및 그 제어방법 KR101784176B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110049474A KR101784176B1 (ko) 2011-05-25 2011-05-25 영상 촬영 장치 및 그 제어방법
US13/474,943 US9253405B2 (en) 2011-05-25 2012-05-18 Image photographing device and control method thereof
US13/706,554 US8633965B2 (en) 2011-05-25 2012-12-06 Image photographing device and control method thereof
US14/245,518 US8836754B2 (en) 2011-05-25 2014-04-04 Image photographing device and control method thereof
US14/508,493 US9083884B2 (en) 2011-05-25 2014-10-07 Electronic apparatus for panorama photographing and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110049474A KR101784176B1 (ko) 2011-05-25 2011-05-25 영상 촬영 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20120131365A KR20120131365A (ko) 2012-12-05
KR101784176B1 true KR101784176B1 (ko) 2017-10-12

Family

ID=47218970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110049474A KR101784176B1 (ko) 2011-05-25 2011-05-25 영상 촬영 장치 및 그 제어방법

Country Status (2)

Country Link
US (4) US9253405B2 (ko)
KR (1) KR101784176B1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
JP2013034081A (ja) 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
JP6160996B2 (ja) * 2012-09-12 2017-07-12 パナソニックＩｐマネジメント株式会社 撮像装置
US9602720B2 (en) * 2012-12-10 2017-03-21 Samsung Electronics Co., Ltd. Photographing apparatus
US9105550B2 (en) * 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
KR102067620B1 (ko) * 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9350916B2 (en) 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9384552B2 (en) 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
KR102367550B1 (ko) * 2014-09-02 2022-02-28 삼성전자 주식회사 생체 신호를 이용한 카메라 모듈의 제어
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
CN104822021B (zh) * 2015-04-02 2017-10-31 广东欧珀移动通信有限公司 一种全景拍照的方法及移动终端
US10170157B2 (en) 2015-06-07 2019-01-01 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
WO2019023991A1 (zh) * 2017-08-02 2019-02-07 深圳传音通讯有限公司 一种基于智能终端的全景照片显示方法及显示装置
WO2019061118A1 (zh) * 2017-09-28 2019-04-04 深圳传音制造有限公司 全景拍摄方法及终端
CN108449546B (zh) * 2018-04-04 2020-03-31 维沃移动通信有限公司 一种拍照方法及移动终端
CN108600647A (zh) * 2018-07-24 2018-09-28 努比亚技术有限公司 拍摄预览方法、移动终端及存储介质
CN108881731B (zh) * 2018-08-06 2021-07-02 Oppo广东移动通信有限公司 全景拍摄方法、装置和成像设备
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
US11024079B1 (en) 2019-03-11 2021-06-01 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths and photogrammetry
US10706624B1 (en) * 2019-03-11 2020-07-07 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths with augmented reality guidance
US10937247B1 (en) 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry
CA3144811A1 (en) * 2019-07-09 2021-01-14 Pricer Ab Stitch images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images
US20110074819A1 (en) * 2009-09-29 2011-03-31 Fujifilm Corporation Image layout determining method, recording medium and information processing apparatus for the same

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114398A (ja) 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JPH114375A (ja) 1997-06-13 1999-01-06 Olympus Optical Co Ltd 電子的撮像装置
JP4146938B2 (ja) 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
KR100328397B1 (ko) 2000-08-24 2002-03-13 김웅순 고해상도 파노라마 동영상의 획득 및 디스플레이 방법
KR100689419B1 (ko) 2004-05-28 2007-03-08 삼성전자주식회사 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
KR100630007B1 (ko) 2004-07-15 2006-09-27 엘지전자 주식회사 파노라마 사진 촬영 방법
WO2006011255A1 (ja) 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
KR20060059302A (ko) 2004-11-26 2006-06-01 한국전자통신연구원 파노라믹 영상 생성을 위한 사용자 인터페이스 제공 방법
US20060268129A1 (en) 2005-05-26 2006-11-30 Yining Deng Composite images
JP4244973B2 (ja) 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
KR100827089B1 (ko) 2006-04-25 2008-05-02 삼성전자주식회사 파노라마 사진 촬영 방법
WO2007138007A1 (de) 2006-05-29 2007-12-06 Bit-Side Gmbh Verfahren und anordnung zur behandlung von datensätzen bildgebender sensoren sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
SE532236C2 (sv) 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
US8107769B2 (en) 2006-12-28 2012-01-31 Casio Computer Co., Ltd. Image synthesis device, image synthesis method and memory medium storage image synthesis program
KR100869952B1 (ko) 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
JP4818987B2 (ja) 2007-05-21 2011-11-16 オリンパスイメージング株式会社 撮像装置、表示方法、及びプログラム
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP4922106B2 (ja) 2007-08-30 2012-04-25 オリンパスイメージング株式会社 カメラ及びこれに適用されるパノラマ撮影ガイド表示方法，パノラマ撮影ガイド表示プログラム
US8115801B2 (en) 2008-05-15 2012-02-14 Arcsoft, Inc. Method of automatic photographs stitching
WO2009142327A1 (ja) 2008-05-20 2009-11-26 日本電気株式会社 撮影装置および携帯型情報処理端末および撮影装置のモニタ表示方法およびプログラム
KR101496467B1 (ko) 2008-09-12 2015-02-26 엘지전자 주식회사 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법
TWI395471B (zh) 2009-07-17 2013-05-01 Altek Corp Panorama image of the leading shooting method
KR101661969B1 (ko) 2009-11-02 2016-10-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images
US20110074819A1 (en) * 2009-09-29 2011-03-31 Fujifilm Corporation Image layout determining method, recording medium and information processing apparatus for the same

Also Published As

Publication number Publication date
US20120300023A1 (en) 2012-11-29
US20140218469A1 (en) 2014-08-07
US9253405B2 (en) 2016-02-02
US8836754B2 (en) 2014-09-16
KR20120131365A (ko) 2012-12-05
US9083884B2 (en) 2015-07-14
US20150022628A1 (en) 2015-01-22
US8633965B2 (en) 2014-01-21
US20130093841A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
KR101784176B1 (ko) 영상 촬영 장치 및 그 제어방법
US11622082B2 (en) Imaging apparatus capable of switching display methods
US8780200B2 (en) Imaging apparatus and image capturing method which combine a first image with a second image having a wider view
US8155432B2 (en) Photographing apparatus
JP5054583B2 (ja) 撮像装置
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
KR101346426B1 (ko) 광각 화상을 생성 가능한 화상 처리 장치
JP2016066978A (ja) 撮像装置、その制御方法とプログラム
KR20140121695A (ko) 촬영 장치 및 촬영 제어 방법
JP2010147715A (ja) 撮像装置
JP2017103697A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2021021857A (ja) 撮像装置およびその制御方法
JP2011035752A (ja) 撮像装置
JP4368783B2 (ja) 撮影装置
JP2007248649A (ja) オートフォーカスシステム
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP6456093B2 (ja) 撮像装置、および、撮像装置の制御方法
KR20130092213A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2010224499A (ja) オートフォーカスシステム
JP6828069B2 (ja) 撮像装置、撮像方法およびプログラム
JP2011182328A (ja) 複眼撮像装置
JP2021097350A (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2013251783A (ja) 撮像装置及び撮像制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant