KR102209908B1 - 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법 - Google Patents

소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102209908B1
KR102209908B1 KR1020190113339A KR20190113339A KR102209908B1 KR 102209908 B1 KR102209908 B1 KR 102209908B1 KR 1020190113339 A KR1020190113339 A KR 1020190113339A KR 20190113339 A KR20190113339 A KR 20190113339A KR 102209908 B1 KR102209908 B1 KR 102209908B1
Authority
KR
South Korea
Prior art keywords
image
angle
lens
image conversion
camera device
Prior art date
Application number
KR1020190113339A
Other languages
English (en)
Inventor
박기영
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020190113339A priority Critical patent/KR102209908B1/ko
Application granted granted Critical
Publication of KR102209908B1 publication Critical patent/KR102209908B1/ko

Links

Images

Classifications

    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2254—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

소프트웨어적으로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법이 개시된다. 일 실시예에 따르면, 영상 변환 카메라 장치-상기 영상 변환 카메라 장치는 기 설정된 값 이상의 화각을 갖는 렌즈, 상기 렌즈와 수평인 상태를 유지하는 이미지 센서 및 프로세서를 포함함-에 의해 수행되는 영상 변환 방법은, 상기 이미지 센서에서 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 단계; 및 상기 프로세서에서 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 단계를 포함한다.

Description

소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법{IMAGE TRANSFORM CAMERA APPARATUS FOR IMPLEMENTING BELLOWS CAMERA IN SOFTWARE AND OPERATION METHOD THEREOF}
아래의 설명은 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법에 대한 기술이다.
벨로우즈 카메라는 렌즈와 이미지 센서 사이에 이미지 센서의 초점면에 대한 렌즈의 위치를 변경하기 위한 벨로우즈(Bellows) 부품을 포함하는 카메라로서, 벨로우즈 부품을 이용하여 렌즈를 상하좌우로 이동시키거나 기울여 영상에서 프레이밍(Framing)을 변경하거나 원근 효과와 디포커스 블러(Defocus blur) 영역을 변경하는 효과를 갖는다.
예를 들어, 벨로우즈 카메라를 설명하기 위한 도 1을 참조하면, 벨로우즈 카메라는 렌즈(110)의 상하 이동이 없을 시 (a) 경우와 같이 피사체의 일부 영역만이 포함되도록 영상을 촬영하게 된다. 반면에, 벨로우즈 카메라는 벨로우즈 부픔(120)을 이용하여 렌즈(110)를 상부로 이동시키는 경우 (b) 경우와 같이 피사체의 전제 영역이 포함되도록 영상을 촬영할 수 있다.
한편, 틸트/시프트 렌즈(Tilt and Shift lens)는, 벨로우즈 카메라 갖는 효과를 달성하고자 벨로우즈 부품(120)과 동일한 역할을 하는 부품을 렌즈에 결합한 것으로서, 벨로우즈 부품(120)에 비해 렌즈가 움직이는 범위를 제한하는 단점을 가지나, 벨로우즈 부품(120)과 달리 벨로우즈 카메라뿐만 아니라 일반 카메라 바디에 장착될 수 있다는 이점을 갖는다.
이와 같은 벨로우즈 카메라가 갖는 효과는 건축물 사진 또는 접사 등의 다양한 분야와 촬영 환경에서 활용적이나, 벨로우즈 부품(120)이라는 하드웨어로서만 구현된다는 단점을 야기한다.
마찬가지로 틸트/시프트 렌즈 역시 하드웨어로서 구현되기 때문에, 사용자에게 추가적인 하드웨어를 구비하도록 하는 번거로움 및 비용적 문제를 안기게 된다.
이에, 벨로우즈 카메라 갖는 효과를 소프트웨어로서 구현하는 기술이 제안될 필요가 있다.
일 실시예들은 피사체에 대한 촬영 영상을 촬영할 때의 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도에 따라 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성함으로써, 영상에서 프레이밍을 변경하거나 원근 효과와 디포커스 블러(Defocus blur) 영역을 변경하는 벨로우즈 카메라를 소프트웨어로 구현하는 영상 변환 카메라 장치 및 그 동작 방법을 제안한다.
일 실시예에 따르면, 영상 변환 카메라 장치-상기 영상 변환 카메라 장치는 기 설정된 값 이상의 화각을 갖는 렌즈, 상기 렌즈와 수평인 상태를 유지하는 이미지 센서 및 프로세서를 포함함-에 의해 수행되는 영상 변환 방법은, 상기 이미지 센서에서 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 단계; 및 상기 프로세서에서 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 단계를 포함한다.
일 측면에 따르면, 상기 생성하는 단계는, 상기 영상 변환 카메라 장치가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 상태에서 상기 촬영 영상을 획득하는 경우, 상기 촬영 영상이 상기 이미지 센서가 상기 피사체에 대해 수평인 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 대한 워핑을 수행하는 단계를 포함하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 수행하는 단계는, 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 포함되는 픽셀들 각각의 좌표를 상기 이미지 센서가 상기 피사체에 대해 수평인 가상의 배치 상태에서 획득하는 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 단계를 포함하는 것을 특징으로 할 수 있다,
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 영상 변환 카메라 장치가 상기 피사체에 대해 수평인 배치 상태에서 상기 촬영 영상을 획득하는 경우, 상기 촬영 영상이 상기 이미지 센서가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 대한 워핑을 수행하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 포함되는 픽셀들 각각의 좌표를 상기 이미지 센서가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 촬영 영상에서 상기 피사체에서의 초점 맞는 기준면을 선택하는 단계; 상기 촬영 영상에 대한 깊이 맵에 포함되는 깊이 값들을 상기 초점 맞는 기준면을 축으로 상기 적어도 하나의 각도만큼 회전된 값들로 조정하여 상기 깊이 맵을 변환하는 단계; 및 상기 변환된 깊이 맵을 이용하여 상기 변환 영상에 대해 디포커스 블러(Defocus blur)를 적용하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 촬영 영상에 대한 깊이 맵은, 상기 영상 변환 카메라 장치가 스테레오 카메라 시스템으로 구현됨에 따라 상기 이미지 센서에서 획득되는 복수의 영상들 사이의 시차(Disparity)에 기초하여 구축되거나, 상기 영상 변환 카메라 장치가 블러 차이를 갖는 복수의 영상들을 획득하도록 구현됨에 따라 상기 이미지 센서에서 획득되는 복수의 영상들 사이의 블러 차이에 기초하여 구축되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 워핑은, 상기 촬영 영상에 대한 3차원 회전인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 렌즈는, 상기 변환 영상에 상기 피사체의 전체 영역이 포함되도록 광각 렌즈(Wide angle lens) 또는 어안 렌즈(Fisheye lens)가 사용되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 변환 영상에서의 크롭(Crop) 영역을 설정하는 단계; 및 상기 변환 영상이 크롭된 결과 영상을 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 크롭 영역은, 상기 변환 영상에서 상기 영상 변환 카메라 장치의 뷰파인더가 제공하는 영역을 모두 포함하도록 설정되거나, 상기 변환 영상에서 상기 영상 변환 카메라 장치의 뷰파인더가 제공하는 영역 이외의 영역을 포함하지 않도록 설정되거나, 상기 영상 변환 카메라 장치의 사용자로부터의 입력에 응답하여 설정되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 영상 변환 카메라 장치의 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도는, 상기 영상 변환 카메라 장치에 포함되는 IMU(Inertial Measurement Unit)에 의해 측정된 각도이거나, 상기 IMU에 의해 설정된 각도이거나, 상기 영상 변환 카메라 장치의 사용자에 의해 설정된 각도인 것을 특징으로 할 수 있다.
일 실시예에 따르면, 영상 변환 카메라 장치-상기 영상 변환 카메라 장치는 기 설정된 값 이상의 화각을 갖는 렌즈, 상기 렌즈와 수평인 상태를 유지하는 이미지 센서 및 프로세서를 포함함-에 의해 수행되는 영상 변환 방법을 실행시키기 위해 상기 프로세서에서 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 영상 변환 방법은, 상기 이미지 센서에서 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 단계; 및 상기 프로세서에서 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 단계를 포함한다.
일 실시예에 따르면, 소프트웨어적으로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치는, 기 설정된 값 이상의 화각을 갖는 렌즈; 상기 렌즈와 수평인 상태를 유지하며, 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 이미지 센서; 및 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 프로세서를 포함한다.
일 실시예들은 피사체에 대한 촬영 영상을 촬영할 때의 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도에 따라 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성함으로써, 영상에서 프레이밍을 변경하거나 원근 효과와 디포커스 블러(Defocus blur) 영역을 변경하는 벨로우즈 카메라를 소프트웨어로 구현하는 영상 변환 카메라 장치 및 그 동작 방법을 제안할 수 있다.
도 1은 벨로우즈 카메라를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 변환 카메라 장치의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 영상 변환 방법을 나타낸 플로우 차트이다.
도 4 내지 6은 일 실시예에 따른 영상 변환 방법을 설명하기 위한 도면이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 설명되는 실시예들은 영상 변환 카메라 장치 및 그 동작 방법으로서, 피사체에 대한 촬영 영상을 촬영할 때 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도를 측정하고, 측정된 피치 각도, 롤 각도 또는 요 각도에 따라 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성함으로써, 영상에서 프레이밍을 변경하거나 원근 효과 및 디포커스 블러 영역을 변경하는 벨로우즈 카메라를 소프트웨어로 구현하는 장점을 달성한다.
도 2는 일 실시예에 따른 영상 변환 카메라 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 일 실시예에 따른 영상 변환 카메라 장치(200)는 렌즈(210), 이미지 센서(220), IMU(Inertial Measurement Unit)(230) 및 프로세서(240)를 포함할 수 있다. 이하, 영상 변환 카메라 장치(200)가 상기 구성요소들을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고 카메라로서의 기능을 구현하기 위한 추가적인 구성요소들을 포함하는 것이 자명하다. 또한, 영상 변환 카메라 장치(200)는 상기 구성요소들을 포함하는 것 그리고 카메라로서의 기능을 구현하는 것 이외에도 후술되는 영상 변환 방법에서 요구되는 기능들을 구현하는 추가적인 구성요소들을 더 포함할 수 있다. 일례로, 영상 변환 카메라 장치(200)는 IMU(230) 이외에도 영상 변환 카메라 장치(200)의 자세(이하, 영상 변환 카메라 장치(200)의 자세는, 영상 변환 카메라 장치(200)의 피치(Pitch) 움직임, 롤(Roll) 움직임 및 요(Yaw) 움직임에 의한 배치 상태를 의미함)를 측정할 수 있는 추가적인 센서들을 더 포함할 수 있으며, 이미지 센서(220)에서 획득한 촬영 영상을 저장하거나 프로세서(240)에서 수행된 산술, 로직 및 연산의 결과 데이터를 저장하는 메모리(미도시)를 더 포함할 수 있다.
렌즈(210)는 기 설정된 값 이상의 화각을 갖도록 구성될 수 있다. 특히, 렌즈(210)는 영상 변환 카메라 장치(200)가 피사체를 촬영할 때 일정 각도로 기울어짐(피치 움직임, 롤 움직임 또는 요 움직임)에 있어서 피사체의 전체 영역이 촬영될 수 있도록(또한, 후술되는 촬영 영상에 대해 워핑(Warping)이 수행된 변환 영상에 피사체의 전체 영역이 포함되도록) 구성될 수 있다. 예컨대, 렌즈(210)로는 광각 렌즈(Wide angle lens) 또는 어안 렌즈(Fisheye lens)가 사용될 수 있다.
이미지 센서(220)는 렌즈(210)와 수평인 상태를 유지하며, 렌즈(210)를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득한다. 이 때, 이미지 센서(220)가 렌즈(210)와 수평인 상태를 유지한다는 것은, 틸트/시프트 렌즈 또는 벨로우즈 부품과 같이 이미지 센서(220)의 초점면에 대한 렌즈(210)의 배치 상태를 변화시키는 것이 아닌, 이미지 센서(220)와 렌즈(210)가 수평인 상태로서 동일한 직선 상에 위치한 배치 상태를 유지하는 일반적인 카메라 장치의 렌즈와 이미지 센서임을 의미한다. 또한, 이하, 이미지 센서(220)가 촬영 영상을 획득한다는 것은, 렌즈(210)를 통해 피사체를 포함하는 촬영 영상을 촬영하는 것을 의미한다.
IMU(230)는 영상 변환 카메라 장치의 움직임에 따른 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도를 측정하거나, 설정한다. 이와 같은 IMU(230)로는 공지된 관성 측정 센서가 사용될 수 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
프로세서(240)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(미도시) 또는 통신 모듈(미도시)에 의해 프로세서(240)로 제공될 수 있다. 예를 들어 프로세서(240)는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
이하, 프로세서(240)는 별도의 구성요소들을 포함하지 않는 것으로 설명되나, 후술되는 영상 변환 방법을 구성하는 서로 다른 기능들(different functions)의 표현들로서 세부적인 구성요소들을 포함할 수 있다. 예를 들어, 프로세서(240)는 영상 변환 카메라 장치(200)의 피치 각도, 롤 각도 또는 요 각도를 기초로 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 프로세서(240)의 기능적 표현으로서 워핑부를 포함할 수 있다. 이에 대한 상세한 설명은 아래의 도 3을 참조하여 기재하기로 한다.
도 3은 일 실시예에 따른 영상 변환 방법을 나타낸 플로우 차트이며, 도 4 내지 6은 일 실시예에 따른 영상 변환 방법을 설명하기 위한 도면이다. 이하, 도 3의 영상 변환 방법은 도 2에 도시된 영상 변환 카메라 장치(200)에 의해 수행됨을 전제로 하며 특히, 영상 변환 카메라 장치(200)에 포함되는 프로세서(240)가 동작의 주체일 수 있다.
도 3을 참조하면, 단계(S310)에서 이미지 센서(220)는, 렌즈(210)를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득한다.
그 후, 단계(S330)에서 프로세서(240)는 영상 변환 카메라 장치(200)의 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도를 기초로, 촬영 영상에 대한 워핑을 수행하여 변환 영상을 생성한다.
이 때, 단계(S310)는, 영상 변환 카메라 장치(200)가 피사체에 대해 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도를 갖도록 회전된 상태에서 수행될 수 있다. 예를 들어, 단계(S310) 이전에, 영상 변환 카메라 장치(200)는 영상 변환 카메라 장치(200)의 뷰파인더가 제공하는 프리뷰 영상에 피사체의 전체 영역이 포함되도록 피사체를 기준으로 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도에 따라 자동으로 회전하게 될 수 있다. 다른 예를 들면, 영상 변환 카메라 장치(200)는 사용자로부터 희망 회전 각도를 입력 받고 입력된 희망 각도에 따라 IMU(230)를 통해 영상 변환 카메라 장치(200)의 회전 각도를 설정한 뒤 설정된 회전 각도에 따라 자동으로 회전하게 될 수 있다. 또 다른 예를 들면, 영상 변환 카메라 장치(200)는 사용자에 의해 수동으로 회전하게 될 수 있다. 이러한 예시들의 경우, 이미지 센서(220)는 피사체에 대해 적어도 하나의 각도(영상 변환 카메라 장치(200)가 회전된 적어도 하나의 각도)를 갖도록 회전된 배치 상태를 갖게 될 수 있다.
단계(S310)에서 영상 변환 카메라 장치(200)가 피사체에 대해 적어도 하나의 각도를 갖도록 회전된 상태에서 촬영 영상을 획득함에 따라, 단계(S320)에서 프로세서(240)는 촬영 영상이 이미지 센서(220)가 피사체에 대해 수평인 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 적어도 하나의 각도를 이용하여 촬영 영상에 대한 워핑을 수행할 수 있다. 단계(S320)에서 프로세서(240)가 이용하는 영상 변환 카메라 장치(200)의 적어도 하나의 각도는, 영상 변환 카메라 장치(200)가 프리뷰 영상에 피사체의 전체 영역이 포함되도록 피사체를 기준으로 자동으로 회전한 경우 또는 영상 변환 카메라 장치(200)가 사용자에 의해 수동으로 회전한 경우 IMU(230)에 의해 측정된 것일 수 있으며, 사용자로부터 희망 회전 각도를 입력 받은 경우 IMU(230)에 의해 설정된 것일 수 있다. 가상 영상은 촬영 영상을 변환하고자 하는 목표 영상이며, 변환 영상은 촬영 영상이 변환된 결과 영상으로서 변환 결과에 따라 가상 영상과 동일하게 될 수 있다.
이와 관련하여 보다 상세하게, 도 4를 참조하면, (a) 경우와 같이 피사체에 대해 이미지 센서(220)가 수평인 상태를 유지하고 촬영하게 되는 경우 렌즈(210) 역시 피사체에 대해 수평인 상태를 유지하게 되기 때문에, 도면과 같이 촬영 영상 내에서 피사체의 위치가 상부로 쏠리는 문제가 발생될 수 있다. 반면에, (b) 경우와 같이 피사체를 촬영 영상 내 중심 위치에 담고자 이미지 센서(220) 및 렌즈(210)를 피사체에 대해 기울인 상태에서 촬영 동작이 수행되면, 도면과 같이 원근 효과에 의해 촬영 영상 내에서 피사체의 하부는 크게 상부는 작게 찍히게 된다.
이에, 일 실시예에 따른 영상 변환 방법은 (c) 경우와 같이 단계(S310)에서 이미지 센서(220) 및 렌즈(210)를 피사체에 대해 기울인 상태(410)에서 촬영 동작을 수행하여 피사체를 촬영 영상 내 중심 위치에 담은 이후에, 단계(S320)를 통해 이미지 센서(220)가 피사체에 대해 수평인 가상의 배치 상태(420)에서 획득되는 가상 영상과 같이 촬영 영상에 대한 변환 영상(430)을 생성함으로써, 원근 효과가 적용되지 않은 채 피사체를 영상 내 중심 위치에 담을 수 있다.
즉, 영상 변환 방법은, 촬영 영상이 이미지 센서(220)가 피사체에 대해 수평인 가상의 배치 상태에서 획득되는 가상 영상으로 변환되도록 적어도 하나의 각도를 이용하여, 촬영 영상에 포함되는 픽셀들 각각의 좌표를 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 워핑 동작을 수행함으로써, 가상 영상에 해당되는 변환 영상(430)을 생성할 수 있다. 이와 같은 워핑 동작은, 영상 변환 카메라 장치(200)의 피치 움직임, 롤 움직임 또는 요 움직임과 관련하여 역변환에 해당되기 때문에, 촬영 영상에 대한 3차원 회전일 수 있다.
이 때, 단계(S320)에서 생성되는 변환 영상은 워핑 동작으로 인해 촬영 영상과 비교하여 그 프레임이 변경되게 된다. 이에, 단계(S320)에서 프로세서(240)는 변환 영상에서의 크롭 영역을 설정함으로써, 변환 영상이 크롭된 결과 영상을 제공할 수 있다. 이와 관련하여 도 5를 참조하면, 영상 변환 카메라 장치(200)에서 뷰파인더가 제공하는 영역은 (a) 경우에서의 510과 같으며, 렌즈(210)에 의해 촬영되는 촬영 영상의 영역은 520과 같다. 이에, 상술된 단계(S320)가 수행되고 나면 (b) 경우와 같이 프레임이 변경된 영역(530)을 갖는 변환 영상이 생성되게 된다. 따라서, 프로세서(240)는 단계(S320)를 수행한 직후, 변환 영상에서 영상 변환 카메라 장치(200)의 뷰파인더가 제공하는 영역(511)을 모두 포함하도록 크롭 영역을 제1 영역(540)과 같이 설정하거나, 변환 영상에서 영상 변환 카메라 장치의 뷰파인더가 제공하는 영역(511) 이외의 영역(512)을 포함하지 않도록 크롭 영역을 제2 영역(550)과 같이 설정할 수 있다. 그러나 이에 제한되거나 한정되지 않고 프로세서(240)는 사용자로부터의 입력에 응답하여 크롭 영역을 설정할 수도 있다.
한편, 단계(S310)는 상술된 경우에 제한되거나 한정되지 않고, 영상 변환 카메라 장치(200)가 피사체에 대해 수평인 배치 상태에서 수행될 수도 있다. 이러한 경우, 이미지 센서(220)는 피사체에 대해 수평인 배치 상태를 갖게 될 수 있다.
단계(S310)에서 영상 변환 카메라 장치(200)가 피사체에 대해 수평인 배치 상태에서 촬영 영상을 획득함에 따라, 단계(S320)에서 프로세서(240)는 촬영 영상이 이미지 센서(220)가 피사체에 대해 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 적어도 하나의 각도를 이용하여 촬영 영상에 대한 워핑을 수행할 수 있다. 보다 상세하게, 단계(S320)에서 프로세서(240)는 적어도 하나의 각도를 이용하여, 촬영 영상에 포함되는 픽셀들 각각의 좌표를 이미지 센서(220)가 피사체에 대해 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 워핑 동작을 수행함으로써, 가상 영상에 해당되는 변환 영상을 생성할 수 있다. 이와 같은 워핑 동작 역시 촬영 영상에 대한 3차원 회전일 수 있다.
단계(S320)에서 프로세서(240)가 이용하는 영상 변환 카메라 장치(200)의 적어도 하나의 각도는, 사용자로부터 희망 회전 각도를 입력 받은 경우 IMU(230)에 의해 설정된 것일 수 있다. 가상 영상은 촬영 영상을 변환하고자 하는 목표 영상이며, 변환 영상은 촬영 영상이 변환된 결과 영상으로서 변환 결과에 따라 가상 영상과 동일하게 될 수 있다.
이 때, 단계(S320)에서 프로세서(240)는 변환 영상에 대해 디포커스 블러(Defocus blur)를 적용하여 3차원 영상을 생성할 수도 있다. 구체적으로, 전술된 바와 같이 영상 변환 카메라 장치(200)가 피사체에 대해 수평인 배치 상태에서 획득한 촬영 영상을 이미지 센서(220)가 피사체에 대해 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상으로 변환하는 경우, 프로세서(240)는 도 6의 (a)와 같이 촬영 영상에서 피사체에서의 초점 맞는 기준면을 선택하고(임의로 초점 맞는 기준면을 선택하거나, 사용자로부터 입력되는 선택 입력에 응답하여 초점 맞는 기준면을 선택함), (b) 또는 (c)와 같이 촬영 영상에 대한 깊이 맵에 포함되는 깊이 값들을 초점 맞는 기준면을 축으로 적어도 하나의 각도만큼 회전된 값들로 조정하여 깊이 맵을 변환한 뒤, 변환된 깊이 맵을 이용하여 변환 영상에 대해 디포커스 블러(Defocus blur)를 적용할 수 있다. (b)와 같이 깊이 맵을 변환하는 경우 디포커스 블러가 적용된 3차원 영상은 (d)와 같이 나타나게 된다.
여기서, 촬영 영상에 대한 깊이 맵은 영상 변환 카메라 장치(200)가 스테레오 카메라 시스템으로 구현됨에 따라 이미지 센서(220)에서 획득되는 복수의 영상들 사이의 시차(Disparity)에 기초하여 구축되거나, 영상 변환 카메라 장치(200)가 블러 차이를 갖는 복수의 영상들을 획득하도록 구현됨에 따라 이미지 센서(220)에서 획득되는 복수의 영상들 사이의 블러 차이에 기초하여 구축될 수 있다. 일례로, 영상 변환 카메라 장치(200)가 복수의 렌즈들 및 복수의 이미지 센서들이 쌍을 이루는 스테레오 카메라로 구성됨에 따라 이미지 센서들에서 시차가 존재하는 영상들이 획득되고, 영상들 사이의 시차에 따라 촬영 영상에 대한 깊이 맵이 구축될 수 있다. 다른 예를 들면, 영상 변환 카메라 장치(200)에 복수의 애퍼처들이 형성됨으로써 애퍼처들 각각을 통해 유입되는 광 신호가 처리됨에 따라 블러 차이가 존재하는 영상들이 획득되고, 영상들 사이의 블러 차이에 따라 촬영 영상에 대한 깊이 맵이 구축될 수 있다. 이러한 촬영 영상에 대한 깊이 맵은 PSF(Point spread function) 형태로 구현될 수 있으며, 깊이 맵을 이용하여 변환 영상에 대해 디포커스 블러를 적용한다는 것은 PSF를 변환 영상에서 컨볼루션(Convolution)으로 적용하는 것을 의미한다. 깊이 맵을 영상에 적용 및 이용하는 과정은 종래에 공지된 기술이므로 이에 대한 상세한 설명은 생략하기로 한다.
이처럼, 단계들(S310 내지 S320)을 통해 생성되는 변환 영상은 프레이밍을 변경하거나 원근 효과 및 디포커스 블러 영역을 변경하는 벨로우즈 카메라가 생성하는 촬영 영상과 동일하게 될 수 있다. 즉, 단계들(S310 내지 S320)을 통해 영상 변환 카메라 장치(200)는 벨로우즈 카메라를 소프트웨어로 구현할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 영상 변환 카메라 장치-상기 영상 변환 카메라 장치는 기 설정된 값 이상의 화각을 갖는 렌즈, 상기 렌즈와 수평인 상태를 유지하는 이미지 센서 및 프로세서를 포함함-에 의해 수행되는 영상 변환 방법에 있어서,
    상기 이미지 센서에서 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 단계; 및
    상기 프로세서에서 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 단계
    를 포함하고,
    상기 렌즈는,
    상기 변환 영상에 상기 피사체의 전체 영역이 포함되도록 광각 렌즈(Wide angle lens) 또는 어안 렌즈(Fisheye lens)가 사용되는 것을 특징으로 하는 영상 변환 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 영상 변환 카메라 장치가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 상태에서 상기 촬영 영상을 획득하는 경우, 상기 촬영 영상이 상기 이미지 센서가 상기 피사체에 대해 수평인 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 대한 워핑을 수행하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  3. 제2항에 있어서,
    상기 수행하는 단계는,
    상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 포함되는 픽셀들 각각의 좌표를 상기 이미지 센서가 상기 피사체에 대해 수평인 가상의 배치 상태에서 획득하는 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 영상 변환 카메라 장치가 상기 피사체에 대해 수평인 배치 상태에서 상기 촬영 영상을 획득하는 경우, 상기 촬영 영상이 상기 이미지 센서가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상으로 변환되도록 상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 대한 워핑을 수행하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  5. 제4항에 있어서,
    상기 수행하는 단계는,
    상기 적어도 하나의 각도를 이용하여 상기 촬영 영상에 포함되는 픽셀들 각각의 좌표를 상기 이미지 센서가 상기 피사체에 대해 상기 적어도 하나의 각도를 갖도록 회전된 가상의 배치 상태에서 획득하는 가상 영상에 포함되는 픽셀들 각각의 좌표로 변환하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  6. 제4항에 있어서,
    상기 수행하는 단계는,
    상기 촬영 영상에서 상기 피사체에서의 초점 맞는 기준면을 선택하는 단계;
    상기 촬영 영상에 대한 깊이 맵에 포함되는 깊이 값들을 상기 초점 맞는 기준면을 축으로 상기 적어도 하나의 각도만큼 회전된 값들로 조정하여 상기 깊이 맵을 변환하는 단계; 및
    상기 변환된 깊이 맵을 이용하여 상기 변환 영상에 대해 디포커스 블러(Defocus blur)를 적용하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
  7. 제6항에 있어서,
    상기 촬영 영상에 대한 깊이 맵은,
    상기 영상 변환 카메라 장치가 스테레오 카메라 시스템으로 구현됨에 따라 상기 이미지 센서에서 획득되는 복수의 영상들 사이의 시차(Disparity)에 기초하여 구축되거나, 상기 영상 변환 카메라 장치가 블러 차이를 갖는 복수의 영상들을 획득하도록 구현됨에 따라 상기 이미지 센서에서 획득되는 복수의 영상들 사이의 블러 차이에 기초하여 구축되는 것을 특징으로 하는 영상 변환 방법.
  8. 제1항에 있어서,
    상기 워핑은,
    상기 촬영 영상에 대한 3차원 회전인 것을 특징으로 하는 영상 변환 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 변환 영상에서의 크롭(Crop) 영역을 설정하는 단계; 및
    상기 변환 영상이 크롭된 결과 영상을 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
  11. 제10항에 있어서,
    상기 크롭 영역은,
    상기 변환 영상에서 상기 영상 변환 카메라 장치의 뷰파인더가 제공하는 영역을 모두 포함하도록 설정되거나, 상기 변환 영상에서 상기 영상 변환 카메라 장치의 뷰파인더가 제공하는 영역 이외의 영역을 포함하지 않도록 설정되거나, 상기 영상 변환 카메라 장치의 사용자로부터의 입력에 응답하여 설정되는 것을 특징으로 하는 영상 변환 방법.
  12. 제1항에 있어서,
    상기 영상 변환 카메라 장치의 피치 각도, 롤 각도 또는 요 각도 중 적어도 하나의 각도는,
    상기 영상 변환 카메라 장치에 포함되는 IMU(Inertial Measurement Unit)에 의해 측정된 각도이거나, 상기 IMU에 의해 설정된 각도이거나, 상기 영상 변환 카메라 장치의 사용자에 의해 설정된 각도인 것을 특징으로 하는 영상 변환 방법.
  13. 영상 변환 카메라 장치-상기 영상 변환 카메라 장치는 기 설정된 값 이상의 화각을 갖는 렌즈, 상기 렌즈와 수평인 상태를 유지하는 이미지 센서 및 프로세서를 포함함-에 의해 수행되는 영상 변환 방법을 실행시키기 위해 상기 프로세서에서 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서,
    상기 영상 변환 방법은,
    상기 이미지 센서에서 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 단계; 및
    상기 프로세서에서 상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 단계
    를 포함하고,
    상기 렌즈는,
    상기 변환 영상에 상기 피사체의 전체 영역이 포함되도록 광각 렌즈(Wide angle lens) 또는 어안 렌즈(Fisheye lens)가 사용되는 것을 특징으로 하는 기록 매체에 기록된 컴퓨터 프로그램.
  14. 소프트웨어적으로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치에 있어서,
    기 설정된 값 이상의 화각을 갖는 렌즈;
    상기 렌즈와 수평인 상태를 유지하며, 상기 렌즈를 통해 유입되는 피사체에 반사된 광 신호를 처리하여 촬영 영상을 획득하는 이미지 센서; 및
    상기 영상 변환 카메라 장치의 피치(Pitch) 각도, 롤(Roll) 각도 또는 요(Yaw) 각도 중 적어도 하나의 각도를 기초로 상기 촬영 영상에 대한 워핑(Warping)을 수행하여 변환 영상을 생성하는 프로세서
    를 포함하고,
    상기 렌즈는,
    상기 변환 영상에 상기 피사체의 전체 영역이 포함되도록 광각 렌즈(Wide angle lens) 또는 어안 렌즈(Fisheye lens)가 사용되는 것을 특징으로 하는 영상 변환 카메라 장치.
KR1020190113339A 2019-09-16 2019-09-16 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법 KR102209908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190113339A KR102209908B1 (ko) 2019-09-16 2019-09-16 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190113339A KR102209908B1 (ko) 2019-09-16 2019-09-16 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102209908B1 true KR102209908B1 (ko) 2021-01-29

Family

ID=74236574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190113339A KR102209908B1 (ko) 2019-09-16 2019-09-16 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102209908B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138346A (ko) * 2009-12-22 2014-12-03 애플 인크. 경사 또는 원근 보정을 갖는 이미지 캡처 디바이스
KR20170093584A (ko) * 2016-02-05 2017-08-16 한화테크윈 주식회사 영상 보정 기능을 구비한 영상 촬영장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138346A (ko) * 2009-12-22 2014-12-03 애플 인크. 경사 또는 원근 보정을 갖는 이미지 캡처 디바이스
KR20170093584A (ko) * 2016-02-05 2017-08-16 한화테크윈 주식회사 영상 보정 기능을 구비한 영상 촬영장치

Similar Documents

Publication Publication Date Title
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
JP5390707B2 (ja) 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
KR102471595B1 (ko) 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
KR101997991B1 (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
WO2019037038A1 (zh) 图像处理方法、装置及服务器
JP2018528631A (ja) ステレオオートフォーカス
JP2016039613A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6095266B2 (ja) 画像処理装置及びその制御方法
KR20160111757A (ko) 영상 촬영 장치 및 이의 촬영 방법
KR101645427B1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
KR102209908B1 (ko) 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
JP6362473B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
TW201935912A (zh) 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
JP2016024315A5 (ko)
JP2018046415A (ja) 表示制御装置、表示制御方法及びプログラム
JP5653509B2 (ja) 画像処理装置及び画像処理方法
JP6120535B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP2024102803A (ja) 撮像装置
JP6571779B2 (ja) 立体画像化
JP2016208204A (ja) 画像撮影方法および画像撮影装置、プログラム
JP5921646B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant