KR20230063234A - 카메라의 캘리브레이션을 위한 전자 장치 및 방법 - Google Patents

카메라의 캘리브레이션을 위한 전자 장치 및 방법 Download PDF

Info

Publication number
KR20230063234A
KR20230063234A KR1020210148268A KR20210148268A KR20230063234A KR 20230063234 A KR20230063234 A KR 20230063234A KR 1020210148268 A KR1020210148268 A KR 1020210148268A KR 20210148268 A KR20210148268 A KR 20210148268A KR 20230063234 A KR20230063234 A KR 20230063234A
Authority
KR
South Korea
Prior art keywords
display
patterns
sub
images
electronic device
Prior art date
Application number
KR1020210148268A
Other languages
English (en)
Inventor
신승학
정재윤
김기민
김송현
정해경
최수렴
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210148268A priority Critical patent/KR20230063234A/ko
Priority to PCT/KR2022/014982 priority patent/WO2023075191A1/ko
Publication of KR20230063234A publication Critical patent/KR20230063234A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

카메라를 캘리브레이션하는 전자 장치 및 방법이 제공된다. 전자 장치가 카메라를 캘리브레이션하는 방법은, 복수의 면들을 포함하는 디스플레이에 순차적으로 디스플레이되는 복수의 패턴들을 촬영함으로써 캘리브레이션을 위한 복수의 이미지들을 획득하는 동작; 상기 복수의 이미지들로부터 상기 복수의 이미지들 내의 복수의 하위 영역들을 구별하는 동작; 상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성하는 동작; 상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들, 및 상기 카메라의 이미지 센서의 위치에 기초하여, 상기 식별 값들에 대응되는 벡터 값들을 획득하는 동작; 및 상기 벡터 값들을 상기 식별 값들에 매핑하는 동작;을 포함한다.

Description

카메라의 캘리브레이션을 위한 전자 장치 및 방법{METHOD AND ELECTRONIC APPARATUS FOR CALIBRATION OF CAMERA}
본 개시는 카메라의 캘리브레이션을 위한 전자 장치 및 방법에 관한 것으로서, 보다 상세하게는 복수의 면을 포함하는 디스플레이에 디스플레이되는 패턴들을 촬영함으로써 카메라를 캘리브레이션하는 전자 장치 및 방법에 관한 것이다.
카메라 캘리브레이션은 3차원 공간 상의 점 위치와 카메라에 투영된 2차원 이미지 픽셀 사이의 대응 관계를 파악하기 위해 카메라의 위치 및 방향, 초점 거리, 주점, 렌즈의 방사형 왜곡 계수, 접선 방향 왜곡 계수 등을 알아내는 기술이다. 종래에는, 일정한 패턴을 갖고 있는 체커 보드를 카메라의 위치와 자세를 바꿔서 촬영한 여러 장의 이미지들을 이용하여 체커 보드의 현실 좌표 및 체커 보드를 촬영한 이미지 좌표의 대응 관계를 명시하고, 이 때 찾아진 여러 대응 관계를 만족하는 변수들을 추정하는 방식으로 카메라의 캘리브레이션이 수행되었다. 그러므로, 캘리브레이션의 성능은 현실 좌표 계 상의 3차원 점 위치와 2차원의 이미지 픽셀의 정확한 대응 관계와 대응점의 고른 분포에 영향을 받게 된다.
정확한 대응 관계의 자동 매칭을 위해 AprilTag, ArUco Marker 같은 기준 마커(fiducial marker)를 사용하지만 마커 크기에 따른 탐지 거리 제약이 존재하였으며, 고른 분포의 대응점 확보를 위해서는 숙련된 촬영이 요구되는 문제가 있었다. 이에 따라, 카메라 캘리브레이션의 사용 용이성, 정확성 확보를 위해 고른 분포의 대응 관계를 신속, 정확하게 자동으로 매칭할 수 있는 새로운 기술이 요구되고 있다.
본 개시의 일 실시예는, 복수의 면을 포함하는 디스플레이를 이용하여 카메라를 캘리브레이션할 수 있는 전자 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 고정된 카메라를 이용하여 디스플레이의 복수의 면을 함께 촬영함으로써 카메라를 캘리브레이션할 수 있는 전자 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 촬영 이미지 내의 위치 및 디스플레이 상의 위치를 함께 나타내는 식별 값을 이용하여 카메라를 캘리브레이션할 수 있는 전자 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 디스플레이의 복수의 면을 분할하도록 디스플레이의 복수의 면에 순차적으로 디스플레이되는 복수의 음영 패턴들을 촬영함으로써, 카메라를 캘리브레이션할 수 있는 전자 장치 및 방법을 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 한 측면은, 복수의 면들을 포함하는 디스플레이에 순차적으로 디스플레이되는 복수의 패턴들을 촬영함으로써 캘리브레이션을 위한 복수의 이미지들을 획득하는 동작; 상기 복수의 이미지들로부터 상기 복수의 이미지들 내의 복수의 하위 영역들을 구별하되, 상기 복수의 하위 영역들은 상기 디스플레이의 상기 복수의 면들에 각각 대응되는 것인, 동작; 상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성하되, 상기 식별 값들은 상기 디스플레이 상의 위치 및 상기 디스플레이 상의 위치에 대응되는 촬영 이미지 상의 위치를 함께 나타내는 동작; 상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들, 및 상기 카메라의 이미지 센서의 위치에 기초하여, 상기 식별 값들에 대응되는 벡터 값들을 획득하는 동작; 및 상기 벡터 값들을 상기 식별 값들에 매핑하는 동작;을 포함하는, 전자 장치가 카메라를 캘리브레이션하는 방법을 제공할 수 있다.
또한, 본 개시의 다른 측면은, 적어도 하나의 카메라; 하나 이상의 인스트럭션을 저장하는 저장부; 및 상기 하나 이상의 인스트럭션을 실행하여, 복수의 면들을 포함하는 디스플레이에 순차적으로 디스플레이되는 복수의 패턴들을 상기 카메라를 이용해 촬영함으로써 캘리브레이션을 위한 복수의 이미지들을 획득하고, 상기 복수의 이미지들로부터 상기 복수의 이미지들 내의 복수의 하위 영역들을 구별하되, 상기 복수의 하위 영역들은 상기 디스플레이의 상기 복수의 면들에 각각 대응되며, 상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성하되, 상기 식별 값들은 상기 디스플레이 상의 위치 및 상기 디스플레이 상의 위치에 대응되는 촬영 이미지 상의 위치를 함께 나타내며, 상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들, 및 상기 카메라의 이미지 센서의 위치에 기초하여, 상기 식별 값들에 대응되는 벡터 값들을 획득하고, 상기 벡터 값들을 상기 식별 값들에 매핑하는 프로세서;를 포함하는, 카메라를 캘리브레이션하는 전자 장치를 제공할 수 있다.
또한, 본 개시의 다른 측면은, 전자 장치가 카메라를 캘리브레이션하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치가 카메라를 캘리브레이션하는 방법의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 3a는 본 개시의 일 실시예에 따른 3개의 면을 가지는 디스플레이 및 촬영 이미지 내의 하위 영역들을 나타내는 도면이다.
도 3b는 본 개시의 일 실시예에 따른 5개의 면을 가지는 디스플레이 및 촬영 이미지 내의 하위 영역들을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 면들에 대응되는 하위 영역들을 구분하기 위하여 디스플레이의 각 면에 디스플레이되는 이미지를 나타내는 도면이다.
도 5a는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 제1 면이 촬영된 제1 하위 영역이 식별되는 예시를 나타내는 도면이다.
도 5b는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 제2 면이 촬영된 제2 하위 영역이 식별되는 예시를 나타내는 도면이다.
도 5c는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 제3 면이 촬영된 제3 하위 영역이 구별되게 표시되는 예시를 나타내는 도면이다.
도 5d는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 제4 면이 촬영된 제4 하위 영역이 식별되는 예시를 나타내는 도면이다.
도 5e는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이의 제5 면이 촬영된 제5 하위 영역이 구별되게 표시되는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 촬영 이미지 내의 위치들에 대응되는 식별 값들을 생성하기 위하여 디스플레이의 각 면에 디스플레이되는 패턴들을 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 촬영 이미지 내의 하위 영역들의 픽셀들에 대응되는 식별 값들의 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 촬영 이미지의 특정 위치에 매핑되는 벡터의 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 카메라의 캘리브레이션을 위하여 디스플레이의 복수의 면에 순차적으로 디스플레이되는 이미지 및 촬영 이미지들의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 디스플레이를 이용하여 복수의 카메라가 함께 캘리브레이션되는 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 카메라를 캘리브레이션하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(1000)가 카메라를 캘리브레이션하는 방법의 개요도이다.
도 1을 참조하면, 전자 장치(1000)는 카메라를 이용하여 복수의 면들을 포함하는 디스플레이(2000)에 디스플레이된 복수의 패턴들을 순차적으로 촬영하고, 복수의 패턴들이 촬영된 이미지들(100)을 이용하여 카메라를 캘리브레이션할 수 있다.
디스플레이(2000)의 복수의 면들을 함께 촬영하기 위하여 전자 장치(1000)의 카메라가 디스플레이(2000)의 복수의 면들을 향하도록 고정되게 배치될 수 있다.
복수의 패턴들이 디스플레이(2000)의 복수의 면들에 디스플레이될 수 있으며, 디스플레이된 복수의 패턴들은 순차적으로 변경될 수 있다. 전자 장치(1000)는 복수의 패턴들을 함께 촬영함으로써 복수의 촬영 이미지들(100)을 획득할 수 있으며, 복수의 촬영 이미지들(100)에 포함된 복수의 패턴들에 기초하여 촬영된 이미지 내의 위치들 및 디스플레이(2000) 상의 위치들에 함께 대응되는 식별 값들을 생성할 수 있다.
전자 장치(1000)는, 디스플레이(2000)와 전자 장치(1000)의 카메라의 이미지 센서 간의 상대적인 위치 및 생성된 식별 값에 기초하여, 디스플레이(2000)의 복수의 면들 상의 위치들로부터 카메라의 이미지 센서를 향하는 벡터 값들을 획득할 수 있으며, 획득된 벡터 값들을 촬영 이미지(100) 내의 위치들에 매핑함으로써 카메라를 캘리브레이션할 수 있다.
전자 장치(1000)는 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않으며, 전자 장치(1000)는 카메라를 포함하는 모든 종류의 기기를 포함할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 블록도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자 입력부(1100), 카메라(1200), 통신 인터페이스(1300), 저장부(1400) 및 프로세서(1500)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 지칭한다. 사용자 입력부(1100)는, 카메라(1200)를 캘리브레이션하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치, 터치 스크린 등이 있을 수 있으나 이에 한정되는 것은 아니다.
카메라(1200)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1500) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라(1200)에서 처리된 화상 프레임은 저장부(1400)에 저장되거나 통신 인터페이스(1300)를 통하여 외부로 전송될 수 있다. 카메라(1200)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
통신 인터페이스(1300)는 카메라(1200)의 캘리브레이션을 위한 데이터를 외부 장치(미도시)와 송수신한다. 통신 인터페이스(1300)는 전자 장치(1000)와 외부 장치(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1300)는, 유선 통신부 및/또는 무선 통신부를 포함할 수 있다. 예를 들어, 통신 인터페이스(1300)는, 근거리 통신부, 이동 통신부 및 방송 수신부를 포함할 수 있다.
저장부(1400)는 프로세서(1500)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
저장부(1400)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. 내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(1800)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(1800)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다. 외장 메모리는, 예를 들어, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
저장부(1400)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 이미지 획득 모듈(1410), 디스플레이 식별 모듈(1420), 픽셀 식별 모듈(1430), 벡터 산출 모듈(1440), 캘리브레이션 모듈(1450) 및 캘리브레이션 DB(1460) 등으로 분류될 수 있다.
프로세서(1500)는 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1500)는, 저장부(1400)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 카메라(1200), 통신 인터페이스(1300) 및 저장부(1400)를 전반적으로 제어할 수 있다. 프로세서(1500)는 저장부(1400)에 저장된 이미지 획득 모듈(1410), 디스플레이 식별 모듈(1420), 픽셀 식별 모듈(1430), 벡터 산출 모듈(1440) 및 캘리브레이션 모듈(1450)을 실행함으로써, 카메라(1200)를 캘리브레이션할 수 있다.
프로세서(1500)는 이미지 획득 모듈(1410)을 실행함으로써 복수의 면들을 포함하는 디스플레이(2000)에 디스플레이된 복수의 패턴들을 촬영한다. 디스플레이(2000)에 디스플레이된 복수의 패턴들이 변경됨에 따라, 이미지 획득 모듈(1410)은 디스플레이(2000)의 복수의 면에 디스플레이되고 변경되는 복수의 패턴들을 함께 촬영할 수 있다. 예를 들어, 디스플레이(2000)에 제1 복수의 패턴들이 디스플레이되면 이미지 획득 모듈(1410)은 제1 복수의 패턴들을 함께 촬영할 수 있으며, 디스플레이(2000)에 제2 복수의 패턴들이 디스플레이되면 이미지 획득 모듈(1410)은 제2 복수의 패턴들을 함께 촬영할 수 있다. 이미지 획득 모듈(1410)은 디스플레이(2000)에 디스플레이된 복수의 패턴들이 변경됨을 식별됨에 응답하여, 변경된 복수의 패턴들을 카메라(1200)를 이용하여 함께 촬영할 수 있다. 디스플레이(2000)에 디스플레이되는 복수의 패턴들에 대하여는 도 4 내지 도 6에서 보다 상세히 설명하기로 한다.
디스플레이(2000)의 복수의 면들은 실질적으로 서로 직교되도록 연결될 수 있다. 예를 들어, 3개의 면들이 인접되게 연결되어 디스플레이(2000)의 복수의 면들이 형성되거나, 5개의 면들이 인접되게 연결되어 디스플레이(2000)의 복수의 면들이 형성될 수 있다. 복수의 면들을 포함하는 디스플레이(2000)에 대하여는 도 3a 및 도 3b에서 보다 상세히 설명하기로 한다.
프로세서(1500)는 디스플레이 식별 모듈(1420)을 실행함으로써, 복수의 면들이 함께 촬영된 이미지에서, 디스플레이(2000)의 각 면에 대응되는 하위 영역들을 식별한다. 예를 들어, 디스플레이(2000)가 5개의 면들을 포함하는 경우에, 디스플레이 식별 모듈(1420)은 디스플레이(2000)의 제1 면에 대응되는 제1 하위 영역, 디스플레이(2000)의 제2 면에 대응되는 제2 하위 영역, 디스플레이(2000)의 제3 면에 대응되는 제3 하위 영역, 디스플레이(2000)의 제4 면에 대응되는 제4 하위 영역 및 디스플레이(2000)의 제5 면에 대응되는 제5 하위 영역을 식별할 수 있다. 예를 들어, 디스플레이(2000)의 복수의 면들 중에서 하나의 면만이 활성화된 상태에서, 프로세서(1500)는 카메라(1200)를 이용하여 제1 면 내지 제5 면을 함께 촬영할 수 있으며, 활성화된 면에 대응되는 하위 영역을 촬영 이미지로부터 식별할 수 있다. 예를 들어, 디스플레이(2000)의 제1 면만이 활성화된 경우에 프로세서(1500)는 카메라(1200)를 이용하여 제1 면 내지 제5 면을 함께 촬영하고, 촬영된 이미지에서 제1 면에 대응되는 제1 하위 영역을 식별할 수 있다. 디스플레이 식별 모듈(1420)이 촬영 이미지 내의 하위 영역을 식별하는 방법에 대하여는 도 4 내지 도 5e에서 보다 상세히 설명하기로 한다.
프로세서(1500)는 픽셀 식별 모듈(1430)을 실행함으로써 촬영 이미지 내의 위치들에 대응되는 식별 값들을 생성한다. 프로세서(1500)는 디스플레이(2000)의 각 면 별로, 디스플레이(2000) 상의 위치들에 대응되는 촬영 이미지 내의 픽셀들을 나타내는 식별 값들을 생성할 수 있다. 프로세서(1500)는 촬영 이미지 상의 위치 및 디스플레이(2000) 상의 위치를 함께 나타내는 식별 값을 생성할 수 있다.
예를 들어, 디스플레이(2000)의 제1 면에 패턴이 변경되면서 디스플레이될 수 있다. 디스플레이(2000)의 제1 면을 분할하도록 음영 패턴이 디스플레이(2000)의 제1 면에 디스플레이될 수 있다. 이 경우, 디스플레이(2000)의 제1 면에 순차적으로 디스플레이되는 패턴들은, 디스플레이(2000)의 제1 면을 가로방향으로 분할하는 음영 패턴들 및 디스플레이(2000)의 제1 면을 세로 방향으로 분할하는 음영 패턴을 포함할 수 있다.
예를 들어, 픽셀 식별 모듈(1430)은, 순차적으로 변경되면서 디스플레이(2000)의 제1 면 상에 디스플레이된 음영 패턴들에 기초하여, 디스플레이(2000)의 제1 면에 대응되는 촬영 이미지 내의 제1 하위 영역에서, 제1 하위 영역의 특정 위치 별로 특정 위치에 대응되는 식별값을 생성할 수 있다. 음영 패턴들에서 어두운 부분은 ‘1’을 나타내고, 음영 패턴들에서 밝은 부분은 ‘0’을 나타낼 수 있으며, 이에 따라, 촬영 이미지 내의 특정 위치에 대응되는 식별 값은 이진 값을 가질 수 있다. 또한, 촬영 이미지 내의 제1 하위 영역의 특정 위치를 나타내는 식별 값은, 촬영 이미지 내의 제1 하위 영역의 특정 위치에 대응되는 디스플레이(2000)의 제1 면 상의 특정 위치를 함께 나타낼 수 있다.
상기에서는 픽셀 식별 모듈(1430)이 디스플레이(2000)의 제1 면에 대하여 촬영 이미지 내의 위치들을 나타내는 식별 값을 생성하는 것을 예로 들어 설명하였지만, 픽셀 식별 모듈(1430)은 디스플레이(2000)의 다른 면들에 대하여도, 제1 면에 대한 방법과 마찬가지의 방법으로, 촬영 이미지 내의 위치들을 나타내는 식별 값들을 생성할 수 있다. 이에 따라, 픽셀 식별 모듈(1430)은 촬영 이미지 내의 하위 영역들 모두에 대하여 하위 영역들 내의 위치들에 대응되는 식별 값들을 생성할 수 있다.
픽셀 식별 모듈(1430)이 촬영 이미지 내의 위치들에 대응되는 식별 값을 생성하는 방법에 대하여는 도 6 및 도 7에서 보다 상세히 설명하기로 한다.
프로세서(1500)는, 벡터 산출 모듈(1440)을 실행함으로써, 디스플레이(2000) 상의 특정 위치로부터 카메라(1200)를 향하는 벡터 값을 산출할 수 있다. 디스플레이(2000)의 복수의 면들을 함께 촬영하기 위하여 전자 장치(1000)의 카메라(1200)가 디스플레이(2000)의 복수의 면들을 향하도록 고정되게 배치될 수 있다. 이 경우, 전자 장치(1000)는 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보를 획득할 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 디스플레이(2000)의 각 면들 간의 직교성, 디스플레이(2000)의 각 면들의 평면성, 및 디스플레이(2000)의 각 면들 내의 픽셀들의 크기를 고려하여 결정될 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 현실 공간을 나타내는 3D 좌표계 상의 좌표 값들을 포함할 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는, 디스플레이(2000)의 각 면 내의 픽셀들의 위치와 카메라(1200)의 이미지 센서 간의 상대적인 위치를 나타내는 정보를 포함할 수 있다.
픽셀 식별 모듈(1430)에 의해 생성된 식별 값들은 촬영 이미지 내의 특정 위치 및 촬영 이미지 내의 특정 위치에 대응되는 디스플레이(2000) 상의 특정 위치를 함께 나타낼 수 있으며, 벡터 산출 모듈(1440)은, 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보 및 픽셀 식별 모듈(1430)에 의해 생성된 식별 값들에 기초하여, 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 산출할 수 있다. 예를 들어, 벡터 산출 모듈(1440)은, 생성된 식별 값들에 기초하여, 촬영 이미지 내의 특정 위치에 대응되는 디스플레이(2000) 상의 특정 위치를 식별할 수 있으며, 디스플레이(2000) 상의 특정 위치에 대응되는 현실 공간의 3D 좌표 값 및 이미지 센서의 현실 공간 상의 3D 좌표 값에 기초하여, 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 산출할 수 있다.
벡터 산출 모듈(1440)이 촬영 이미지 상의 특정 위치에 대응되는 벡터 값에 대하여는 도 8에서 보다 상세히 설명하기로 한다.
프로세서(1500)는, 캘리브레이션 모듈(1450)을 실행함으로써, 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 촬영 이미지 상의 특정 위치를 나타내는 식별 값에 매핑할 수 있다. 촬영 이미지 상의 특정 위치에 대응되는 벡터 값이, 촬영 이미지 상의 특정 위치를 나타내는 식별 값에 매핑됨에 따라, 촬영 이미지 상의 특정 위치의 픽셀 값이 현실 공간 상의 어느 위치로부터 수신된 광에 의해 형성되었는지가 식별될 수 있다.
캘리브레이션 DB(1460)는 촬영 이미지 상의 특정 위치에 대응되는 벡터 값 및 촬영 이미지 상의 특정 위치를 나타내는 식별 값을 저장할 수 있다.
도 3a는 본 개시의 일 실시예에 따른 3개의 면을 가지는 디스플레이(2000) 및 촬영 이미지 내의 하위 영역들을 나타내는 도면이다.
도 3a를 참조하면, 디스플레이(2000)는 제1 면(21), 제2 면(22) 및 제3 면(23)을 가질 수 있으며, 전자 장치(1000)는 카메라(1200)를 이용하여, 제1 면(21), 제2 면(22) 및 제3 면(23)을 함께 촬영할 수 있다. 제1 면(21), 제2 면(22) 및 제3 면(23)은 평면일 수 있으며 서로 직교되도록 연결될 수 있다.
전자 장치(1000)에 의해 촬영된 촬영 이미지(25)는 제1 하위 영역(25-1), 제2 하위 영역(25-2) 및 제3 하위 영역(25-3)으로 구분될 수 있다. 제1 하위 영역(25-1)은 제1 면(21)이 촬영된 이미지를 포함하고, 제2 하위 영역(25-2)은 제2 면(22)이 촬영된 이미지를 포함하고, 제3 하위 영역(25-3)은 제3 면(23)이 촬영된 이미지를 포함할 수 있다. 디스플레이(2000)가 3개의 면을 가지는 경우에, 촬영 이미지(25)는 3개의 면에 각각 대응되는 제1 하위 영역(25-1), 제2 하위 영역(25-2) 및 제3 하위 영역(25-3)만을 포함할 수 있다.
도 3b는 본 개시의 일 실시예에 따른 5개의 면을 가지는 디스플레이(2000) 및 촬영 이미지 내의 하위 영역들을 나타내는 도면이다.
도 3b를 참조하면, 디스플레이(2000)는 제1 면(31), 제2 면(32), 제3 면(33), 제4 면(34) 및 제5 면(35)을 가질 수 있으며, 전자 장치(1000)는 카메라(1200)를 이용하여, 제1 면(31), 제2 면(32), 제3 면(33), 제4 면(34) 및 제5 면(35)을 함께 촬영할 수 있다. 제1 면(31), 제2 면(32), 제3 면(33), 제4 면(34) 및 제5 면(35)은 평면일 수 있으며 서로 직교되도록 연결될 수 있다.
전자 장치(1000)에 의해 촬영된 촬영 이미지(36)는 제1 하위 영역(36-1), 제2 하위 영역(36-2), 제3 하위 영역(36-3), 제4 하위 영역(36-4) 및 제5 하위 영역(36-5)으로 구분될 수 있다. 제1 하위 영역(36-1)은 제1 면(31)이 촬영된 이미지를 포함하고, 제2 하위 영역(36-2)은 제2 면(32)이 촬영된 이미지를 포함하고, 제3 하위 영역(36-3)은 제3 면(33)이 촬영된 이미지를 포함하고, 제4 하위 영역(36-4)은 제4 면(34)이 촬영된 이미지를 포함하고, 제5 하위 영역(36-5)은 제5 면(35)이 촬영된 이미지를 포함할 수 있다. 디스플레이(2000)가 5개의 면을 가지는 경우에, 촬영 이미지(36)는 5개의 면에 각각 대응되는 제1 하위 영역(36-1), 제2 하위 영역(36-2), 제3 하위 영역(36-3), 제4 하위 영역(36-4) 및 제5 하위 영역(36-5)만을 포함할 수 있다.
도 4는 본 개시의 일 실시예에 따른 촬영 이미지에서 디스플레이(2000)의 면들에 대응되는 하위 영역들을 구분하기 위하여 디스플레이(2000)의 각 면에 디스플레이되는 이미지를 나타내는 도면이다.
도 4를 참조하면, 촬영 이미지에서 디스플레이(2000)의 면들(31, 32, 33, 34, 35)에 대응되는 하위 영역들이 구분되도록 하기 위하여, 디스플레이(2000)의 각 면(31, 32, 33, 34, 35)이 밝게 또는 어둡게 표시될 수 있다. 예를 들어, 디스플레이(2000)의 각 면(31, 32, 33, 34, 35)에는 밝은 이미지(40) 또는 어두운 이미지(42)가 디스플레이될 수 있다. 밝은 이미지(40)는 소정 수치 이상의 밝기를 가지는 이미지일 수 있으며, 어두운 이미지(42)는 소정 수치 이하의 밝기를 가지는 이미지일 수 있다. 밝은 이미지(40) 또는 어두운 이미지(42)는 디스플레이(2000)의 각 면(31, 32, 33, 34, 35)의 전체 영역에 디스플레이될 수 있다. 일 실시예에 따르면, 디스플레이(2000)의 각 면(31, 32, 33, 34, 35)이 비활성화됨으로써 어둡게 표시될 수도 있다.
도 5a 내지 도 5b는 본 개시의 일 실시예에 따른 디스플레이(2000)의 면들이 촬영된 촬영 이미지에서 하위 영역들이 구분되는 예시를 나타내는 도면이다.
도 5a는 본 개시의 일 실시예에 따른 촬영 이미지(36)에서 디스플레이(2000)의 제1 면(31)이 촬영된 제1 하위 영역(36-1)이 식별되는 예시를 나타내는 도면이다.
도 5a를 참조하면, 디스플레이(2000)의 제1 면(31)이 촬영된 제1 하위 영역(36-1)은 어두운 이미지를 포함하고, 디스플레이(2000)의 나머지 면들이 촬영된 하위 영역들(36-2, 36-3, 36-4, 36-5)은 밝은 이미지를 포함할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지(36)에서 디스플레이(2000)의 제1 면(31)에 대응되는 제1 하위 영역(36-1)을 식별할 수 있다.
도 5b는 본 개시의 일 실시예에 따른 촬영 이미지(36)에서 디스플레이(2000)의 제2 면(32)이 촬영된 제2 하위 영역(36-2)이 식별되는 예시를 나타내는 도면이다.
도 5b를 참조하면, 디스플레이(2000)의 제2 면(32)이 촬영된 제2 하위 영역(36-2)은 어두운 이미지를 포함하고, 디스플레이(2000)의 나머지 면들이 촬영된 하위 영역들(36-1, 36-3, 36-4, 36-5)은 밝은 이미지를 포함할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지(36)에서 디스플레이(2000)의 제2 면(31)에 대응되는 제2 하위 영역(36-2)을 식별할 수 있다.
도 5c는 본 개시의 일 실시예에 따른 촬영 이미지(36)에서 디스플레이(2000)의 제3 면(33)이 촬영된 제3 하위 영역(36-3)이 구별되게 표시되는 예시를 나타내는 도면이다.
도 5c를 참조하면, 디스플레이(2000)의 제3 면(33)이 촬영된 제3 하위 영역(36-3)은 어두운 이미지를 포함하고, 디스플레이(2000)의 나머지 면들이 촬영된 하위 영역들(36-1, 36-2, 36-4, 36-5)은 밝은 이미지를 포함할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지(36)에서 디스플레이(2000)의 제3 면(31)에 대응되는 제3 하위 영역(36-3)을 식별할 수 있다.
도 5d는 본 개시의 일 실시예에 따른 촬영 이미지(36)에서 디스플레이(2000)의 제4 면(34)이 촬영된 제4 하위 영역(36-4)이 식별되는 예시를 나타내는 도면이다.
도 5d를 참조하면, 디스플레이(2000)의 제4 면(34)이 촬영된 제4 하위 영역(36-4)은 어두운 이미지를 포함하고, 디스플레이(2000)의 나머지 면들이 촬영된 하위 영역들(36-1, 36-2, 36-3, 36-5)은 밝은 이미지를 포함할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지(36)에서 디스플레이(2000)의 제4 면(34)에 대응되는 제4 하위 영역(36-4)을 식별할 수 있다.
도 5e는 본 개시의 일 실시예에 따른 촬영 이미지(36)에서 디스플레이(2000)의 제5 면(32)이 촬영된 제5 하위 영역(36-5)이 구별되게 표시되는 예시를 나타내는 도면이다.
도 5e를 참조하면, 디스플레이(2000)의 제5 면(35)이 촬영된 제5 하위 영역(36-5)은 어두운 이미지를 포함하고, 디스플레이(2000)의 나머지 면들이 촬영된 하위 영역들(36-1, 36-2, 36-3, 36-4)은 밝은 이미지를 포함할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지(36)에서 디스플레이(2000)의 제5 면(35)에 대응되는 제5 하위 영역(36-5)을 식별할 수 있다.
도 6은 본 개시의 일 실시예에 따른 촬영 이미지(36) 내의 위치들에 대응되는 식별 값들을 생성하기 위하여 디스플레이(2000)의 각 면에 디스플레이되는 패턴들을 나타내는 도면이다.
도 6을 참조하면, 촬영 이미지의 특정 위치에 대응되는 식별 값을 생성하기 위하여, 디스플레이(2000)의 각 면(31, 32, 33, 34, 35)에는 음영 패턴들(60)이 순차적으로 디스플레이될 수 있다. 음영 패턴들(60)은, 디스플레이(2000)의 면을 가로 방향으로 분할하는 음영 패턴들(61, 62, 63) 및 디스플레이(2000)의 면을 세로 방향으로 분할하는 음영 패턴들(64, 65, 66)을 포함할 수 있다.
음영 패턴(61)은 디스플레이의 면을 가로 방향으로 2분할할 수 있으며, 음영 패턴(62)는 디스플레이의 면을 가로 방향으로 4분할할 수 있으며, 음영 패턴(63)은 디스플레이의 면을 가로 방향으로 8분할할 수 있다. 또한, 음영 패턴(64)은 디스플레이의 면을 세로 방향으로 2분할할 수 있으며, 음영 패턴(65)는 디스플레이의 면을 세로 방향으로 4분할할 수 있으며, 음영 패턴(66)은 디스플레이의 면을 세로 방향으로 8분할할 수 있다. 음영 패턴들(60)에서 어두운 부분에 대응되는 값은 ‘1’로 설정될 수 있으며, 밝은 부분에 대응되는 값은 ‘0’로 설정될 수 있다.
예를 들어, 디스플레이(2000)의 제1 면(31)에는 음영 패턴(61), 음영 패턴(62), 음영 패턴(63), 음영 패턴(64), 음영 패턴(65) 및 음영 패턴(66)이 순차적으로 디스플레이될 수 있다. 또한, 음영 패턴(61), 음영 패턴(62), 음영 패턴(63), 음영 패턴(64), 음영 패턴(65) 및 음영 패턴(66)에서 어두운 부분에 대응되는 값은 ‘1’로 식별되고, 밝은 부분에 대응되는 값은 ‘0’로 식별될 수 있다.
예를 들어, 촬영 이미지(36)에서 디스플레이(2000)의 제1 면(31)이 촬영된 제1 하위 영역(36-1)이 8 x 8 개의 픽셀들로 구분되는 경우에, 전자 장치(1000)는 음영 패턴들(61, 62, 63, 64, 65, 66)로부터 제1 하위 영역(36-1) 내의 제1 픽셀(69)을 식별하고, 식별된 제1 픽셀(69)에 대응되는 이진 값들(‘1’ 또는 ‘0’)을 조합함으로써, 제1 픽셀(69)에 대응되는 식별 값을 생성할 수 있다. 예를 들어, 제1 픽셀(69)이 촬영 이미지(36)의 좌측 최상단의 픽셀인 경우에 제1 픽셀(69)의 식별 값은 (1,1,1,1,1,1)일 수 있다. 이 경우, 제1 픽셀(69)에 대응되는 식별 값은, 촬영 이미지(36) 내의 제1 하위 영역(36-1) 내의 제1 픽셀(69)의 위치, 및 디스플레이(2000)의 제1 면(31)에서 제1 픽셀(69)에 대응되는 위치를 함께 나타낼 수 있다. 또한, 이와 마찬가지의 방법으로, 전자 장치(1000)는 음영 패턴들(60)로부터 제1 하위 영역(36-1) 내의 픽셀들 각각에 대응되는 식별 값을 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 촬영 이미지 내의 하위 영역들의 픽셀들에 대응되는 식별 값들의 예시를 나타내는 도면이다.
도 7을 참조하면, 도 6에서 설명된 방법에 따라, 촬영 이미지(36) 내의 하위 영역들(36-1, 36-2, 36-3, 36-4, 36-5) 내의 픽셀들 모두에 대하여, 픽셀들에 대응되는 식별 값들이 생성될 수 있다. 전자 장치(1000)는 디스플레이(2000)의 다른 면들(32, 33, 34, 35)에 대하여도, 음영 패턴들(61, 62, 63, 64, 65, 66)을 순차적으로 표시하고 촬영함으로써, 다른 면들(32, 33, 34, 35)에 대응되는 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 도 7에서와 같이 생성할 수 있다.
도 6 및 도 7에서는 촬영 이미지(36) 내의 하위 영역들(36-1, 36-2, 36-3, 36-4, 36-5) 내의 픽셀들에 대응되는 식별 값들이 생성되는 것으로 설명되었지만 이에 제한되지 않는다. 하위 영역들(36-1, 36-2, 36-3, 36-4, 36-5) 내의 픽셀들은 하위 영역들(36-1, 36-2, 36-3, 36-4, 36-5) 내의 분할된 영역들의 예시에 해당될 수 있으며, 픽셀의 일부분에 대응되는 식별 값 및 하나 이상의 픽셀에 대응되는 식별 값이 생성될 수도 있다.
도 8은 본 개시의 일 실시예에 따른 촬영 이미지의 특정 위치에 매핑되는 벡터의 예시를 나타내는 도면이다.
도 8을 참조하면, 디스플레이(2000)의 제1 면(31) 상의 위치 a는, 촬영 이미지(36) 내의 제1 하위 영역(36-1) 내의 위치 b에 대응될 수 있다. 촬영 이미지(36)에서 디스플레이(2000)의 제1 면(31) 상의 위치 a가 촬영된 부분이, 촬영 이미지(36) 내의 제1 하위 영역(36-1) 내의 위치 b일 수 있다. 또한, 디스플레이(2000)의 제1 면(31) 상의 위치 a에 대응되는 식별 값 p1은, 촬영 이미지(36) 내의 제1 하위 영역(36-1) 내의 위치 b에 대응될 수 있다.
전자 장치(1000)는 디스플레이(2000)의 제1 면(31) 상의 위치 a로부터 카메라(1200)를 향하는 벡터 값을 산출할 수 있다. 디스플레이(2000)의 복수의 면들을 함께 촬영하기 위하여 전자 장치(1000)의 카메라(1200)가 디스플레이(2000)의 복수의 면들을 향하도록 고정되게 배치될 수 있다. 이 경우, 전자 장치(1000)는 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보를 획득할 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 디스플레이(2000)의 각 면들 간의 직교성, 디스플레이(2000)의 각 면들의 평면성, 디스플레이(2000)의 각 면들 내의 픽셀들의 크기를 고려하여 생성될 수 있다. 또한, 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 현실 공간 상의 3D 좌표계 상의 좌표 값들을 포함할 수 있다.
전자 장치(1000)는, 획득된 위치 정보에 기초하여, 디스플레이(2000)의 제1 면(31) 상의 위치 a 를 나타내는 현실 공간 상의 3D 좌표계 상의 제1 좌표 값을 식별하고, 카메라(1200)의 이미지 센서의 위치를 나타내는 현실 공간 상의 3D 좌표계 상의 제2 좌표 값을 식별할 수 있다. 이후, 전자 장치(1000)는 제1 좌표 값 및 제2 좌표 값에 기초하여, 디스플레이(2000) 상의 위치 a로부터 전자 장치(1000)의 카메라(1200)를 향하는 벡터 값 v1을 산출할 수 있다. 디스플레이(2000) 상의 위치 a로부터 전자 장치(1000)의 카메라(1200)를 향하는 벡터 값 v1은, 촬영 이미지(36) 내의 위치 b에 대응되는 식별 값 p1에 매핑될 수 있다.
도 9는 본 개시의 일 실시예에 따른 카메라(1200)의 캘리브레이션을 위하여 디스플레이(2000)의 복수의 면에 순차적으로 디스플레이되는 이미지 및 촬영 이미지들의 예시를 나타내는 도면이다.
도 9를 참조하면, 디스플레이(2000)의 복수의 면 전체가 어둡게 표시되고, 복수의 면 전체가 밝게 표시될 수 있으며, 복수의 면 전체가 어둡게 표시된 디스플레이(2000)가 촬영된 촬영 이미지(36-a) 및 복수의 면 전체가 밝게 표시된 디스플레이(2000)가 촬영된 촬영 이미지(36-b)를 바탕으로, 전자 장치(1000)는, 이진 값 ‘1’에 대응되는 어두운 부분의 어두운 정도를 나타내는 기준 및 이진 값 ‘0’에 대응되는 밝은 부분의 밝은 정도를 나타내는 기준을 설정할 수 있다.
일 실시예에 따르면, 디스플레이(2000)의 복수의 면들 중 적어도 일부의 면이 밝게 표시되고 나머지 면이 어둡게 표시될 수 있으며, 전자 장치(1000)는 복수의 면들 중 적어도 일부의 면이 밝게 표시된 디스플레이(2000)가 촬영된 촬영 이미지들(36-c, 36-d, 36-e, …)로부터 촬영 이미지(36) 내의 하위 영역들을 구분할 수 있다.
일 실시예에 따르면, 디스플레이(2000)의 복수의 면들 상에 복수의 패턴들이 순차적으로 변경되어 디스플레이될 수 있고, 전자 장치(1000)는 디스플레이(2000)의 복수의 면들을 순차적으로 촬영함으로써 촬영 이미지들(36-g, 36-h, 36-i, …, 36-j, 36-k, 36-l…)을 획득할 수 있다. 전자 장치(1000)는 촬영 이미지들(36-g, 36-h, 36-i, …, 36-j, 36-k, 36-l…)로부터, 촬영 이미지(36) 내의 위치들에 대응되는 식별값들을 생성할 수 있다.
도 10은 본 개시의 일 실시예에 따른 디스플레이(2000)를 이용하여 복수의 카메라가 함께 캘리브레이션되는 예시를 나타내는 도면이다.
도 10을 참조하면, 복수의 면을 포함하는 디스플레이(2000)를 복수의 전자 장치(1000-1, 1000-2, 1000-3)가 함께 촬영할 수 있다. 디스플레이(2000)의 복수의 면들을 촬영하기 위하여 복수의 전자 장치(1000-1, 1000-2, 1000-3)의 카메라들이 디스플레이(2000)의 복수의 면들을 향하도록 고정되게 배치될 수 있다. 복수의 전자 장치(1000-1, 1000-2, 1000-3) 각각은 촬영된 이미지들을 이용하여 복수의 전자 장치(1000) 내의 카메라들을 캘리브레이션할 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(1000)가 카메라를 캘리브레이션하는 방법의 흐름도이다.
동작 S1100에서 전자 장치(1000)는 복수의 면들을 포함하는 디스플레이(2000)에 순차적으로 디스플레이되는 복수의 패턴들을 촬영함으로써 캘리브레이션을 위한 복수의 촬영 이미지들을 획득한다. 전자 장치(1000)는 디스플레이(2000)에 디스플레이된 복수의 패턴들이 변경됨에 따라, 디스플레이(2000)의 복수의 면에 디스플레이되고 변경되는 복수의 패턴들을 함께 촬영할 수 있다. 예를 들어, 디스플레이(2000)에 제1 복수의 패턴들이 디스플레이되면 전자 장치(1000)는 제1 복수의 패턴들을 함께 촬영할 수 있으며, 디스플레이(2000)에 제2 복수의 패턴들이 디스플레이되면 전자 장치(1000)는 제2 복수의 패턴들을 함께 촬영할 수 있다. 전자 장치(1000)는 디스플레이(2000)에 디스플레이된 복수의 패턴들이 변경됨을 식별됨에 응답하여, 변경된 복수의 패턴들을 카메라(1200)를 이용하여 함께 촬영할 수 있다.
동작 S1110에서 전자 장치(1000)는 복수의 촬영 이미지들로부터 디스플레이(2000)의 복수의 면들에 대응되는 하위 영역들을 구별한다. 전자 장치(1000)는 복수의 면들이 함께 촬영된 이미지에서, 디스플레이(2000)의 각 면에 대응되는 하위 영역들을 식별한다. 예를 들어, 디스플레이(2000)가 5개의 면들을 포함하는 경우에, 전자 장치(1000)는 디스플레이(2000)의 제1 면에 대응되는 제1 하위 영역, 디스플레이(2000)의 제2 면에 대응되는 제2 하위 영역, 디스플레이(2000)의 제3 면에 대응되는 제3 하위 영역, 디스플레이(2000)의 제4 면에 대응되는 제4 하위 영역 및 디스플레이(2000)의 제5 면에 대응되는 제5 하위 영역을 식별할 수 있다. 예를 들어, 디스플레이(2000)의 복수의 면들 중에서 하나의 면만이 어둡게 표시된 상태에서, 전자 장치(1000)는 카메라(1200)를 이용하여 제1 면 내지 제5 면을 함께 촬영할 수 있으며, 어둡게 표시된 면에 대응되는 하위 영역을 촬영 이미지로부터 식별할 수 있다.
동작 S1120에서 전자 장치(1000)는 복수의 촬영 이미지들 내의 복수의 패턴들에 기초하여, 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성한다. 전자 장치(1000)는 디스플레이(2000)의 각 면 별로, 디스플레이(2000) 상의 위치들에 대응되는 촬영 이미지 내의 픽셀들을 나타내는 식별 값들을 생성할 수 있다. 전자 장치(1000)는 촬영 이미지 상의 위치 및 디스플레이(2000) 상의 위치를 함께 나타내는 식별 값을 생성할 수 있다. 예를 들어, 디스플레이(2000)의 제1 면에 패턴이 변경되면서 디스플레이될 수 있다. 디스플레이(2000)의 제1 면을 분할하도록 음영 패턴이 디스플레이(2000)의 제1 면에 디스플레이될 수 있다. 이 경우, 디스플레이(2000)의 제1 면에 순차적으로 디스플레이되는 패턴들은, 디스플레이(2000)의 제1 면을 가로방향으로 분할하는 음영 패턴들 및 디스플레이(2000)의 제1 면을 세로 방향으로 분할하는 음영 패턴을 포함할 수 있다. 예를 들어, 전자 장치(1000)는 순차적으로 변경되면서 디스플레이(2000)의 제1 면 상에 디스플레이된 음영 패턴들에 기초하여, 디스플레이(2000)의 제1 면에 대응되는 촬영 이미지 내의 제1 하위 영역에서, 제1 하위 영역의 특정 위치 별로 특정 위치에 대응되는 식별값을 생성할 수 있다. 음영 패턴들에서 어두운 부분은 ‘1’을 나타내고, 음영 패턴들에서 밝은 부분은 ‘0’을 나타낼 수 있으며, 이에 따라, 촬영 이미지 내의 특정 위치에 대응되는 식별 값은 이진 값을 가질 수 있다. 또한, 촬영 이미지 내의 제1 하위 영역의 특정 위치를 나타내는 식별 값은, 촬영 이미지 내의 제1 하위 영역의 특정 위치에 대응되는 디스플레이(2000)의 제1 면 상의 특정 위치를 함께 나타낼 수 있다. 상기에서는 전자 장치(1000)가 디스플레이(2000)의 제1 면에 대하여 촬영 이미지 내의 위치들을 나타내는 식별 값을 생성하는 것을 예로 들어 설명하였지만, 전자 장치(1000)는 디스플레이(2000)의 다른 면들에 대하여도, 제1 면에 대한 방법과 마찬가지의 방법으로, 촬영 이미지 내의 위치들을 나타내는 식별 값들을 생성할 수 있다. 이에 따라, 전자 장치(1000)는 촬영 이미지 내의 하위 영역들 모두에 대하여 하위 영역들 내의 위치들에 대응되는 식별 값들을 생성할 수 있다.
동작 S1130에서 전자 장치(1000)는 식별 값들에 대응되는 디스플레이(2000)의 복수의 면들 상의 위치들, 및 카메라의 이미지 센서의 위치에 기초하여, 식별 값들에 대응되는 벡터 값들을 획득한다. 전자 장치(1000)는 디스플레이(2000) 상의 특정 위치로부터 카메라(1200)를 향하는 벡터 값을 산출할 수 있다. 디스플레이(2000)의 복수의 면들을 함께 촬영하기 위하여 전자 장치(1000)의 카메라(1200)가 디스플레이(2000)의 복수의 면들을 향하도록 고정되게 배치될 수 있다. 이 경우, 전자 장치(1000)는 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보를 획득할 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 디스플레이(2000)의 각 면들 간의 직교성, 디스플레이(2000)의 각 면들의 평면성, 및 디스플레이(2000)의 각 면들 내의 픽셀들의 크기를 고려하여 결정될 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는 현실 공간을 나타내는 3D 좌표계 상의 좌표 값들을 포함할 수 있다. 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보는, 디스플레이(2000)의 각 면 내의 픽셀들의 위치와 카메라(1200)의 이미지 센서 간의 상대적인 위치를 나타내는 정보를 포함할 수 있다. 생성된 식별 값들은, 촬영 이미지 내의 특정 위치 및 촬영 이미지 내의 특정 위치에 대응되는 디스플레이(2000) 상의 특정 위치를 함께 나타낼 수 있으며, 전자 장치(1000)는, 디스플레이(2000)와 전자 장치(1000)의 카메라(1200) 간의 상대적인 위치를 나타내는 위치 정보 및 픽셀 식별 모듈(1430)에 의해 생성된 식별 값들에 기초하여, 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 산출할 수 있다. 예를 들어, 전자 장치(1000)는, 생성된 식별 값들에 기초하여, 촬영 이미지 내의 특정 위치에 대응되는 디스플레이(2000) 상의 특정 위치를 식별할 수 있으며, 디스플레이(2000) 상의 특정 위치에 대응되는 현실 공간의 3D 좌표 값 및 이미지 센서의 현실 공간 상의 3D 좌표 값에 기초하여, 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 산출할 수 있다.
동작 S1140에서 전자 장치(1000)는 벡터 값들을 식별 값들에 매핑한다. 전자 장치(1000)는 촬영 이미지 상의 특정 위치에 대응되는 벡터 값을 촬영 이미지 상의 특정 위치를 나타내는 식별 값에 매핑할 수 있다. 촬영 이미지 상의 특정 위치에 대응되는 벡터 값이, 촬영 이미지 상의 특정 위치를 나타내는 식별 값에 매핑됨에 따라, 촬영 이미지 상의 특정 위치의 픽셀 값이 현실 공간 상의 어느 위치로부터 수신된 광에 의해 형성되었는지가 식별될 수 있다. 전자 장치(1000)는 촬영 이미지 상의 특정 위치에 대응되는 벡터 값 및 촬영 이미지 상의 특정 위치를 나타내는 식별 값을 저장할 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 명세서에서, 본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치가 카메라를 캘리브레이션하는 방법에 있어서,
    복수의 면들을 포함하는 디스플레이에 순차적으로 디스플레이되는 복수의 패턴들을 촬영함으로써 캘리브레이션을 위한 복수의 이미지들을 획득하는 동작;
    상기 복수의 이미지들로부터 상기 복수의 이미지들 내의 복수의 하위 영역들을 구별하되, 상기 복수의 하위 영역들은 상기 디스플레이의 상기 복수의 면들에 각각 대응되는 것인, 동작;
    상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성하되, 상기 식별 값들은 상기 디스플레이 상의 위치 및 상기 디스플레이 상의 위치에 대응되는 촬영 이미지 상의 위치를 함께 나타내는 동작;
    상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들, 및 상기 카메라의 이미지 센서의 위치에 기초하여, 상기 식별 값들에 대응되는 벡터 값들을 획득하는 동작; 및
    상기 벡터 값들을 상기 식별 값들에 매핑하는 동작;
    을 포함하는 방법.
  2. 제1 항에 있어서,
    상기 복수의 이미지들을 획득하는 동작은, 상기 디스플레이의 상기 복수의 면들을 함께 촬영함으로써 상기 복수의 이미지들을 획득하는 것인, 방법.
  3. 제2 항에 있어서,
    상기 복수의 패턴들이 변경됨에 따라, 상기 복수의 면들을 함께 촬영함으로써 상기 복수의 이미지들을 획득하는 것인, 방법.
  4. 제1 항에 있어서,
    상기 디스플레이의 상기 복수의 면들은 서로 인접되게 연결되며, 상기 복수의 면들에 상기 복수의 패턴들이 독립적으로 디스플레이되는 것인, 방법.
  5. 제4 항에 있어서,
    상기 디스플레이의 상기 복수의 면들은 서로 직교하도록 연결된 것인, 방법.
  6. 제4 항에 있어서,
    상기 복수의 면들이 음영에 의해 분할되도록 상기 복수의 패턴들이 디스플레이되는 것인, 방법.
  7. 제6 항에 있어서,
    상기 복수의 패턴들은, 상기 디스플레이의 상기 복수의 면들을 가로 방향으로 분할하는 패턴들 및 상기 디스플레이의 상기 복수의 면들을 세로 방향으로 분할하는 패턴들을 포함하는 것인, 방법.
  8. 제1 항에 있어서,
    상기 복수의 면들 중에서 하나의 면이 활성화되고 나머지 면들이 비활성화됨으로써, 상기 복수의 면들이 촬영된 이미지로부터 상기 활성화된 하나의 면에 대응되는 하위 영역이 식별되는 것인, 방법.
  9. 제1 항에 있어서,
    상기 식별 값들을 생성하는 동작은,
    상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 음영들에 기초하여 상기 픽셀들에 대응되는 이진 값들을 생성하는 동작;
    을 포함하는 것인, 방법.
  10. 제1 항에 있어서,
    상기 식별 값들에 대응되는 벡터 값들은 상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들로부터, 상기 카메라의 이미지 센서의 위치를 향하는 방향들에 기초하여 결정되는 것인, 방법.
  11. 카메라를 캘리브레이션하는 전자 장치에 있어서,
    적어도 하나의 카메라;
    하나 이상의 인스트럭션을 저장하는 저장부; 및
    상기 하나 이상의 인스트럭션을 실행하여,
    복수의 면들을 포함하는 디스플레이에 순차적으로 디스플레이되는 복수의 패턴들을 상기 카메라를 이용해 촬영함으로써 캘리브레이션을 위한 복수의 이미지들을 획득하고,
    상기 복수의 이미지들로부터 상기 복수의 이미지들 내의 복수의 하위 영역들을 구별하되, 상기 복수의 하위 영역들은 상기 디스플레이의 상기 복수의 면들에 각각 대응되며,
    상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 식별 값들을 생성하되, 상기 식별 값들은 상기 디스플레이 상의 위치 및 상기 디스플레이 상의 위치에 대응되는 촬영 이미지 상의 위치를 함께 나타내며,
    상기 식별 값들에 대응되는 상기 디스플레이의 상기 복수의 면들 상의 위치들, 및 상기 카메라의 이미지 센서의 위치에 기초하여, 상기 식별 값들에 대응되는 벡터 값들을 획득하고,
    상기 벡터 값들을 상기 식별 값들에 매핑하는 프로세서;
    를 포함하는 전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 디스플레이의 상기 복수의 면들을 함께 촬영함으로써 상기 복수의 이미지들을 획득하는 것인, 전자 장치.
  13. 제12 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 복수의 패턴들이 변경됨에 따라, 상기 복수의 면들을 함께 촬영함으로써 상기 복수의 이미지들을 획득하는 것인, 전자 장치.
  14. 제11 항에 있어서,
    상기 디스플레이의 상기 복수의 면들은 서로 인접되게 연결되며, 상기 복수의 면들에 상기 복수의 패턴들이 독립적으로 디스플레이되는 것인, 전자 장치.
  15. 제14 항에 있어서,
    상기 디스플레이의 상기 복수의 면들은 서로 직교하도록 연결된 것인, 전자 장치.
  16. 제14 항에 있어서,
    상기 복수의 면들이 음영에 의해 분할되도록 상기 복수의 패턴들이 디스플레이되는 것인, 전자 장치.
  17. 제16 항에 있어서,
    상기 복수의 패턴들은, 상기 디스플레이의 상기 복수의 면들을 가로 방향으로 분할하는 패턴들 및 상기 디스플레이의 상기 복수의 면들을 세로 방향으로 분할하는 패턴들을 포함하는 것인, 전자 장치.
  18. 제11 항에 있어서,
    상기 복수의 면들 중에서 하나의 면이 활성화되고 나머지 면들이 비활성화됨으로써, 상기 복수의 면들이 촬영된 이미지로부터 상기 활성화된 하나의 면에 대응되는 하위 영역이 식별되는 것인, 전자 장치.
  19. 제11 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 복수의 이미지들 내의 복수의 패턴들에 기초하여, 상기 복수의 하위 영역들 내의 픽셀들에 대응되는 음영들에 기초하여 상기 픽셀들에 대응되는 이진 값들을 생성하는 것인, 전자 장치.
  20. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210148268A 2021-11-01 2021-11-01 카메라의 캘리브레이션을 위한 전자 장치 및 방법 KR20230063234A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210148268A KR20230063234A (ko) 2021-11-01 2021-11-01 카메라의 캘리브레이션을 위한 전자 장치 및 방법
PCT/KR2022/014982 WO2023075191A1 (ko) 2021-11-01 2022-10-05 카메라의 캘리브레이션을 위한 전자 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148268A KR20230063234A (ko) 2021-11-01 2021-11-01 카메라의 캘리브레이션을 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230063234A true KR20230063234A (ko) 2023-05-09

Family

ID=86158267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148268A KR20230063234A (ko) 2021-11-01 2021-11-01 카메라의 캘리브레이션을 위한 전자 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230063234A (ko)
WO (1) WO2023075191A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150058871A (ko) * 2013-11-21 2015-05-29 한국전자통신연구원 촬상 장치 및 촬상 이미지 스티칭 방법
KR102160839B1 (ko) * 2014-09-15 2020-09-28 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
CA3055597A1 (en) * 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
CN110505463A (zh) * 2019-08-23 2019-11-26 上海亦我信息技术有限公司 基于拍照的实时自动3d建模方法

Also Published As

Publication number Publication date
WO2023075191A1 (ko) 2023-05-04

Similar Documents

Publication Publication Date Title
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9609221B2 (en) Image stabilization method and electronic device therefor
US9519968B2 (en) Calibrating visual sensors using homography operators
CN107077826B (zh) 基于周围光的图像调整
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
US20150369593A1 (en) Orthographic image capture system
KR20160048140A (ko) 올-인-포커스 이미지를 생성하기 위한 방법 및 장치
KR102597518B1 (ko) 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
US11102409B2 (en) Electronic device and method for obtaining images
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
CN106534665A (zh) 图像显示装置和图像显示方法
US20190026921A1 (en) Calculating device and calculating device control method
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
CN110213491B (zh) 一种对焦方法、装置及存储介质
US20210097655A1 (en) Image processing method and electronic device supporting the same
KR20190088644A (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
WO2019080061A1 (zh) 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
CN112017137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20160111757A (ko) 영상 촬영 장치 및 이의 촬영 방법
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
US20240323514A1 (en) Electronic device comprising multi-camera, and photographing method
WO2018227580A1 (zh) 摄像头标定方法和终端
JPWO2018189971A1 (ja) 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム
KR102695188B1 (ko) 필터를 제공하는 방법 및 이를 지원하는 전자 장치
CN117201931A (zh) 摄像机参数采集方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination