KR101821141B1 - 3차원 영상 시스템 및 그 영상 재생 방법 - Google Patents

3차원 영상 시스템 및 그 영상 재생 방법 Download PDF

Info

Publication number
KR101821141B1
KR101821141B1 KR1020120013057A KR20120013057A KR101821141B1 KR 101821141 B1 KR101821141 B1 KR 101821141B1 KR 1020120013057 A KR1020120013057 A KR 1020120013057A KR 20120013057 A KR20120013057 A KR 20120013057A KR 101821141 B1 KR101821141 B1 KR 101821141B1
Authority
KR
South Korea
Prior art keywords
cameras
user
camera
dimensional image
image
Prior art date
Application number
KR1020120013057A
Other languages
English (en)
Other versions
KR20130091819A (ko
Inventor
하태신
권영도
노경식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120013057A priority Critical patent/KR101821141B1/ko
Priority to CN201310049889.8A priority patent/CN103248910B/zh
Priority to US13/762,926 priority patent/US9258546B2/en
Publication of KR20130091819A publication Critical patent/KR20130091819A/ko
Application granted granted Critical
Publication of KR101821141B1 publication Critical patent/KR101821141B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Abstract

서로 다른 카메라를 가지고 사용자에게 맞는 3차원 영상을 효과적으로 디스플레이할 수 있는 3차원 영상 시스템 및 그 영상 재생 방법을 제안한다.
서로 다른 카메라를 갖는 스테레오 카메라 시스템을 구성하여 카메라 선택에 제한없이 서로 다른 카메라를 자유롭게 활용할 수 있다. 또한 카메라 배치를 바꿀 수 있는 스테레오 카메라 시스템을 구축하여 사람의 눈 배치에 따라 카메라 배치를 바꾸어 사용자에게 맞춰진 스테레오 영상으로부터 3차원 영상을 생성하여 디스플레이할 수 있다. 이렇게 사용자 맞춤형으로 생성된 3차원 영상으로 실시간 방송, COD(Contents on Demand), 게임, 화상 통신 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공해줌으로써 사용자의 눈의 피로나 어지러움을 줄여 주고 사용자에게 맞는 최적의 입체감을 제공할 수 있게 된다.

Description

3차원 영상 시스템 및 그 영상 재생 방법{3D IMAGING SYSTEM AND IMAGING DISPLAY METHOD FOR THE SAME}
본 발명은 사용자에게 맞게 3차원 영상을 디스플레이하는 3차원 영상 시스템 및 그 영상 재생 방법에 관한 것이다.
사람이 대상물을 실제로 보는 형상은 3차원이나, 이 대상물을 TV, 영화, 컴퓨터, 게임 등의 화면을 통해 화면으로 볼 때는 화면의 평면성으로 인해 2차원으로 보게 된다. 그러나 최근에는 평면(2차원)의 화면을 통해서도 대상물을 3차원 입체 영상으로 볼 수 있는 다양한 방법들이 개발되고 있다.
3차원을 표현하는 입체 영상은 두 눈을 통한 스테레오 시각의 원리에 의존하는데, 두 눈의 시차 즉, 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 의한 양안시차를 이용하여 대상물의 입체감을 느끼게 하는 것이다. 즉, 사람의 좌우 눈이 각각 서로 연관된 2차원 영상을 볼 경우에 이들 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이를 서로 융합하여 본래 3차원 영상의 원근감과 실재감을 재생하게 된다.
이와 같이, 2차원 화면에서 대상물을 3차원 영상으로 보기 위해서는 대상물을 좌안으로 본 2차원의 좌측 영상과 우안으로 본 2차원의 우측 영상을 스테레오 카메라(stereo camera)로부터 획득하고, 획득된 영상에 대해 신호 처리를 하여 입체 영상을 생성하여 디스플레이해야 한다.
일반적으로, 스테레오 카메라는 하드웨어(H/W) 측면에서 거의 같은 camera parameters(화면 크기, 초점, 밝기, 색감, FOV 등)를 가진 두 개의 카메라 모듈을 사용한다. 그리고 두 개의 카메라 동작(capture, white balance, focusing 등)을 동기화시켜서 비동기로 발생하는 영상의 불일치성도 최대한 배제하여 사용한다. 하지만 이렇게 만들어지는 스테레오 카메라는 고가이거나 그 동작의 자유도가 떨어지며, 무엇보다 카메라 선택의 폭이 매우 좁아진다.
서로 다른 카메라를 가지고 사용자에게 맞는 3차원 영상을 효과적으로 디스플레이할 수 있는 3차원 영상 시스템 및 그 영상 재생 방법을 제안하고자 한다.
이를 위해 본 발명의 일 측면에 의한 3차원 영상 시스템은, 사용자 정보를 입력하는 사용자 입력부; 2차원 영상을 획득하는 스테레오 카메라; 스테레오 카메라를 통해 획득된 2차원 영상으로부터 사용자에게 맞는 3차원 영상을 재생하도록 사용자 정보에 따라 스테레오 카메라의 포즈를 제어하는 제어부; 제어부의 제어에 따라 스테레오 카메라를 이동시키는 구동 장치를 포함한다.
사용자 정보는 사용자의 눈 배치와 시력에 대한 정보를 포함한다.
스테레오 카메라는 2차원 영상을 각각 획득하는 두 개의 카메라를 포함한다.
두 개의 카메라는 서로 다른 파라미터를 가지는 좌우측 카메라이다.
구동 장치는 좌우측 카메라의 포즈를 조절하기 위해 구동되는 복수 개의 모터이다.
복수 개의 모터는 좌측 카메라를 (X, Y) 방향으로 이동시키는 복수 개의 좌측 모터와, 우측 카메라를 (X, Y) 방향으로 이동시키는 복수 개의 우측 모터를 포함한다.
또한, 본 발명의 일 측면에 의한 3차원 영상 시스템은, 사용자 정보에 따라 조절되는 스테레오 카메라의 포즈 정보를 데이터베이스화하여 저장하는 사용자 DB를 더 포함하고, 스테레오 카메라는 서로 다른 파라미터를 가지는 두 개의 카메라를 포함한다.
제어부는 두 개의 카메라가 가지는 파라미터에 따라 사용자 DB를 업데이트하는 것이다.
또한, 본 발명의 일 측면에 의한 3차원 영상 시스템은, 두 개의 카메라에서 획득한 영상을 사용자 DB에 저장된 카메라 포즈 정보와 조합하여 좌우측 영상을 재구성하는 영상 처리부; 재구성된 좌우측 영상으로부터 사용자에게 맞는 3차원 영상을 생성하는 영상 생성부를 더 포함한다.
또한, 본 발명의 일 측면에 의한 3차원 영상 시스템은, 사용자 DB를 이용하여 두 개의 카메라에서 획득한 카메라 영상의 차이를 줄이는 영상 처리부; 영상의 차이가 줄어진 두 개의 카메라 영상으로부터 사용자에게 맞는 3차원 영상을 생성하는 영상 생성부를 더 포함한다.
영상 처리부는 두 개의 카메라 영상에서 겹쳐지는 영역을 추출하고, 추출된 두 영상의 밝기를 계산하여 평균값을 구하고, 평균값에 따라 각 픽셀의 밝기를 변경하여 두 개의 카메라 영상의 차이를 줄이는 것이다.
영상 처리부는 두 개의 카메라 영상에서 겹쳐지는 영역을 추출하고, 추출된 영역의 크기에 따라 샘플링 시간을 조절하여 두 개의 카메라 영상의 차이를 줄이는 것이다.
그리고, 본 발명의 일 측면은 스테레오 카메라를 기반으로 하여 3차원 영상을 재생하는 방법에 있어서, 스테레오 카메라를 통해 2차원 영상을 획득하고; 스테레오 카메라를 이동시켜 획득된 2차원 영상을 사용자에게 맞게 조절하고; 사용자에게 맞게 조절된 스테레오 카메라의 포즈 정보를 사용자 DB에 저장하고; 사용자 DB에 저장된 카메라 포즈 정보에 따라 스테레오 카메라의 포즈를 제어하여 사용자에게 맞는 3차원 영상을 출력하는 것을 포함한다.
획득된 2차원 영상을 사용자에게 맞게 조절하는 것은, 사용자의 눈 배치와 시력에 맞게 스테레오 카메라의 포즈를 조절하는 것이다.
또한, 본 발명의 일 측면에 의한 3차원 영상 재생 방법은, 두 개의 카메라에서 획득한 영상을 사용자 DB에 저장된 카메라 포즈 정보와 조합하여 좌우측 영상을 재구성하고; 재구성된 좌우측 영상으로부터 사용자에게 맞는 3차원 영상을 생성하는 것을 더 포함한다.
또한, 본 발명의 일 측면에 의한 3차원 영상 재생 방법은, 두 개의 카메라 영상에서 겹쳐지는 영역을 추출하고; 추출된 두 영상의 밝기를 계산하여 평균값을 구하고; 평균값에 따라 각 픽셀의 밝기를 변경하여 두 개의 카메라 영상의 차이를 줄이는 것을 더 포함한다.
또한, 본 발명의 일 측면에 의한 3차원 영상 재생 방법은, 두 개의 카메라 영상에서 겹쳐지는 영역을 추출하고; 추출된 영역의 크기에 따라 샘플링 시간을 조절하여 두 개의 카메라 영상의 차이를 줄이는 것을 더 포함한다.
제안된 3차원 영상 시스템 및 그 영상 재생 방법에 의하면, 서로 다른 카메라를 갖는 스테레오 카메라 시스템을 구성하여 카메라 선택에 제한없이 서로 다른 카메라를 자유롭게 활용할 수 있다. 또한 카메라 배치를 바꿀 수 있는 스테레오 카메라 시스템을 구축하여 사람의 눈 배치에 따라 카메라 배치를 바꾸어 사용자에게 맞춰진 스테레오 영상으로부터 3차원 영상을 생성하여 디스플레이할 수 있다. 이렇게 사용자 맞춤형으로 생성된 3차원 영상으로 실시간 방송, COD(Contents on Demand), 게임, 화상 통신 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공해줌으로써 사용자의 눈의 피로나 어지러움을 줄여 주고 사용자에게 맞는 최적의 입체감을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 의한 스테레오 기반의 3차원 영상 시스템을 나타낸 구성도이다.
도 2은 본 발명의 일 실시예에 의한 스테레오 카메라를 이동시키는 구동 장치의 개략적인 구성을 나타낸 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 사용자 DB를 생성하는 방법을 나타낸 동작 순서도이다.
도 4는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 카메라 캘리브레이션을 수행하는 방법을 나타낸 동작 순서도이다.
도 5는 도 4의 카메라 캘리브레이션을 위한 캘리브레이션 패턴을 나타낸 도면이다.
도 6은 도 5의 캘리브레이션 패턴을 스테레오 카메라 중앙에 놓은 상태를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 사용자 정보에 따라 카메라의 포즈를 제어하여 3차원 영상을 출력하는 방법을 나타낸 동작 순서도이다.
도 8은 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 두 개의 카메라에서 비동기로 인해 발생한 영상의 차이를 줄이는 제1방법을 나타낸 동작 순서도이다.
도 9는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 두 개의 카메라에서 비동기로 인해 발생한 영상의 차이를 줄이는 제2방법을 나타낸 동작 순서도이다.
이하, 본 발명에 의한 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 의한 스테레오 기반의 3차원 영상 시스템을 나타낸 구성도이다.
도 1에서, 본 발명의 일 실시예에 의한 스테레오 기반의 3차원 영상 시스템은, 스테레오 카메라(10), 영상 추출부(20), 구동 장치(30), 모션 제어부(40), 사용자 입력부(50), 사용자 DB(60), 카메라 포즈 제어부(70), 영상 처리부(80), 영상 생성부(90) 및 영상 디스플레이부(100)를 포함하여 구성된다.
스테레오 카메라(10)는 두 개의 카메라(10L, 10R)를 통해 2차원 영상을 각각 획득하여 영상 추출부(20)에 전달한다.
참조부호에서, L과 R은 스테레오 카메라(10)의 좌측(Left)과 우측(Right)을 나타낸다.
두 개의 카메라(10L, 10R)는 서로 다른 파라미터(화면 크기, 초점, 밝기, 색감, FOV 등)를 가진다.
영상 추출부(20)는 스테레오 카메라(10; 10L, 10R)에서 획득한 영상을 추출하는 Image Capture Module로, 좌측 카메라(10L)에서 획득한 좌측 영상을 추출하는 좌측 영상 추출부(21)와, 우측 카메라(10R)에서 획득한 우측 영상을 추출하는 우측 영상 추출부(22)를 포함한다.
또한, 좌측 영상 추출부(21)에서 추출한 좌측 영상과 우측 영상 추출부(22)에서 추출한 우측 영상을 영상 처리부(80)에 전달한다.
구동 장치(30)는 스테레오 카메라(10; 10L, 10R)의 포즈(방향 및 위치)를 바꾸기 위해 구동되는 모터로, 좌측 카메라(10L)를 (X, Y) 방향으로 이동시키는 좌측 모터(31, 32)와, 우측 카메라(10R)를 (X, Y) 방향으로 이동시키는 우측 모터(33, 34)를 포함한다.
모션 제어부(40)는 스테레오 카메라(10; 10L, 10R)의 포즈(방향 및 위치)를 바꾸기 위해 구동 장치(30)를 제어하는 Motion Control Module로, 두 개의 카메라(10L, 10R)를 (X, Y) 방향으로 이동시키는 좌우측 모터((31, 32), (33, 34))의 모션을 제어한다.
사용자 입력부(50)는 사용자의 눈 배치와 특징(두 눈의 시력 등)에 대한 사용자 정보를 입력하는 장치이다.
사용자 DB(60)는 사용자의 눈 배치와 특징에 대한 카메라 포즈(방향 및 위치) 정보를 데이터베이스화하여 저장한다.
카메라 포즈 제어부(70)는 사용자 정보에 따라 카메라(10L, 10R)의 포즈(방향 및 위치)를 제어하는 컨트롤러로서, 스테레오 카메라(10; 10L, 10R)에서 획득한 두 개의 카메라 영상이 해당하는 사용자 정보에 따라 3차원 영상 재생에 적합하도록 카메라(10L, 10R)의 포즈를 제어한다.
또한, 카메라 포즈 제어부(70)는 스테레오 카메라(10; 10L, 10R)의 서로 다른 파라미터(화면 크기, 초점, 밝기, 색감, FOV 등)를 찾아 사용자 DB(60)를 업데이트한다.
영상 처리부(80)는 스테레오 카메라(10; 10L, 10R)에서 획득한 두 개의 카메라(10L, 10R) 영상의 차이를 줄이는 Image Matching Module로, 카메라 포즈 제어부(70)에서 얻어진 카메라 파라미터와 사용자 정보를 이용하여 두 개의 카메라(10L, 10R)에서 비동기로 인해 발생하는 영상의 차이를 줄인다.
또한, 영상 처리부(80)는 두 개의 카메라(10L, 10R)에서 비동기로 인해 발생하는 영상의 차이를 줄인 스테레오 영상을 영상 생성부(90)에 전달한다. 이는 2차원 영상으로부터 3차원 영상을 생성하는 과정에서 입체 효과를 최적의 상태로 높이기 위함이다.
영상 생성부(90)는 영상 처리부(80)에서 처리된 스테레오 영상으로부터 3차원 영상을 생성하는 Stereoscopic Image Generator이다.
3차원 영상을 생성하는 Stereoscopic는 사람의 두 눈 사이의 간격만큼 이격된 두 개의 카메라(10L, 10R)를 통해서 획득한 각각의 2차원 영상을 아주 짧은 시간 동안 번갈아 가면서 보여 주게 되면, 사람의 뇌가 착각을 일으켜 2차원 영상을 입체로 인식하게 되는 원리를 이용한 것이다.
영상 디스플레이부(100)는 영상 생성부(90)에서 생성된 3차원 영상을 재생하는 3차원 Display Device로, 3차원 TV, HMD(Head Mounted Display) 등을 포함한다.
도 2은 본 발명의 일 실시예에 의한 스테레오 카메라를 이동시키는 구동 장치의 개략적인 구성을 나타낸 도면이다.
도 2에서, 구동 장치(30)는 스테레오 카메라(10; 10L, 10R)의 포즈(방향 및 위치)를 바꾸기 위해 구동되는 좌우측 모터((31, 32), (33, 34))를 포함한다.
좌측 모터(31, 32)는 좌측 카메라(10L)를 X 방향으로 이동시키는 X축 좌측 모터(31)와, 좌측 카메라(10L)를 Y 방향으로 이동시키는 Y축 좌측 모터(32)를 포함한다.
우측 모터(33, 34)는 우측 카메라(10R)를 X 방향으로 이동시키는 X축 우측 모터(33)와, 우측 카메라(10R)를 Y 방향으로 이동시키는 Y축 우측 모터(34)를 포함한다.
실제 좌측 모터(31, 32)와 우측 모터(33, 34)의 개수는 바꾸고 싶은 카메라(10L, 10R)의 포즈에 따라 달라질 수 있다. 예를 들어, 6자유도를 모두 바꾸기 위해서는 적어도 6개 이상의 모터가 필요하다.
이하, 상기와 같이 구성된 3차원 영상 시스템 및 그 영상 재생 방법의 동작 과정 및 작용효과를 설명한다.
도 3a 및 도 3b는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 사용자 DB를 생성하는 방법을 나타낸 동작 순서도이다.
도 3a 및 도 3b에서, 카메라 포즈 제어부(70)는 좌측 카메라(10L) 또는 우측 카메라(10R) 중 하나를 선정하여 이동시킨다.
(1) 먼저, 카메라 포즈 제어부(70)에서 좌측 카메라(10L)를 선정하여 이동시키는 경우를 설명한다(200).
좌측 카메라(10L)는 카메라 포즈 제어부(70)에 의해 이동되는 각각의 위치에서 2차원 영상(구체적으로, 좌측 카메라(10L)에서 획득하는 영상)을 촬영한다(202).
좌측 카메라(10L)의 방향을 바꾸어 가면서 2차원 영상을 촬영하는 방법은 다음과 같다.
카메라 포즈 제어부(70)의 제어에 의해 모션 제어부(40)에서 X축 좌측 모터(31)를 구동시킨다. X축 좌측 모터(31)의 구동에 따라 좌측 카메라(10L)가 X 방향으로 이동하면서 좌측 카메라(10L)의 방향을 바꾸는 것이다.
이러한 방법으로 좌측 카메라(10L)에서 촬영한 2차원 영상 중 왼쪽 눈(이하, 좌안이라 한다) 위치에서 촬영한 2차원 영상을 좌측 이미지 채널에 고정하고, 오른쪽 눈(이하, 우안이라 한다) 위치에 촬영한 2차원 영상을 위치를 바꾸어 가면서 영상 디스플레이부(100)로 출력한다. 이때 좌측 카메라(10L)의 높이는 동일한 상태에서 2차원 영상을 촬영하는 것이다.
영상 디스플레이부(100)는 처음 우안으로는 좌안 위치에서 촬영한 2차원 영상을 똑같이 출력한다.
이어서, 좌측 카메라(10L)는 처음 위치에서 조금씩 우측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 2개로 보이기 시작한 시점(d_inc_left)을 측정한다(204).
반대로 우안으로는 좌안 위치와 가장 먼 거리(높이는 같음)에서 촬영한 영상을 출력한다.
이어서, 모션 제어부(40)는 X축 좌측 모터(31)를 구동시켜 좌측 카메라(10L)를 조금씩 좌측으로 이동한다. 좌측 카메라(10L)가 조금씩 좌측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 1개로 보이기 시작한 시점(d_dec_left)을 측정한다(206).
따라서, 카메라 포즈 제어부(70)는 사용자가 화면이 2개로 보이기 시작한 시점(d_inc_left)과 사용자가 화면이 1개로 보이기 시작한 시점(d_dec_left) 중에서 더 작은 값(d_user_left = min(d_inc_L, d_dec_L))을 카메라 포즈 정보(d_user_left)로 선정한다(208).
다음으로, 카메라 포즈 제어부(70)는 좌측 카메라(10L)의 높이를 바꾸어 가면서(210) 각각의 위치에서 2차원 영상을 촬영한다(212).
좌측 카메라(10L)의 높이를 바꾸어 가면서 2차원 영상을 촬영하는 방법은 다음과 같다.
카메라 포즈 제어부(70)의 제어에 의해 모션 제어부(40)에서 Y축 좌측 모터(32)를 구동시킨다. Y축 좌측 모터(32)의 구동에 따라 좌측 카메라(10L)가 Y 방향으로 이동하면서 좌측 카메라(10L)의 높이를 바꾸는 것이다.
영상 디스플레이부(100)는 처음 우안으로는 좌안 위치에서 촬영한 2차원 영상을 똑같이 출력한다.
이어서, 좌측 카메라(10L)는 처음 위치에서 조금씩 상측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 2개로 보이기 시작한 시점(h_inc_left)을 측정한다(214).
반대로 우안으로는 좌안 위치와 가장 먼 거리(카메라간 거리는 동일한 영상)에서 촬영한 영상을 출력한다.
이어서, 모션 제어부(40)는 Y축 좌측 모터(32)를 구동시켜 좌측 카메라(10L)를 조금씩 하측으로 이동한다. 좌측 카메라(10L)가 조금씩 하측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 1개로 보이기 시작한 시점(h_dec_left)을 측정한다(216).
따라서, 카메라 포즈 제어부(70)는 사용자가 화면이 2개로 보이기 시작한 시점(h_inc_left)과 사용자가 화면이 1개로 보이기 시작한 시점(h_dec_left) 중에서 더 작은 값(h_user_left = min(h_inc_left, h_dec_left))을 카메라 포즈 정보(h_user_left)로 선정한다(218).
이에 따라, 카메라 포즈 제어부(70)는 선정된 카메라 포즈 정보(d_user_left, h_user_left) 즉, 좌측 카메라(10L)의 포즈(방향 및 위치) 정보를 사용자 DB(60)에 저장한다(220).
(2) 다음으로, 카메라 포즈 제어부(70)에서 우측 카메라(10R)를 선정하여 이동시키는 경우를 설명한다(222).
우측 카메라(10R)는 카메라 포즈 제어부(70)에 의해 이동되는 각각의 위치에서 2차원 영상(구체적으로, 우측 카메라에서 획득하는 영상)을 촬영한다(224).
우측 카메라(10R)의 방향을 바꾸어 가면서 2차원 영상을 촬영하는 방법은 다음과 같다.
카메라 포즈 제어부(70)의 제어에 의해 모션 제어부(40)에서 X축 우측 모터(33)를 구동시킨다. X축 우측 모터(34)의 구동에 따라 우측 카메라(10R)가 X 방향으로 이동하면서 우측 카메라(10R)의 방향을 바꾸는 것이다.
이러한 방법으로 우측 카메라(10R)에서 촬영한 2차원 영상 중 좌안 위치에서 촬영한 2차원 영상을 좌측 이미지 채널에 고정하고, 우안 위치에 촬영한 2차원 영상을 위치를 바꾸어 가면서 영상 디스플레이부(100)로 출력한다. 이때 우측 카메라(10R)의 높이는 동일한 상태에서 2차원 영상을 촬영하는 것이다.
영상 디스플레이부(100)는 처음 우안으로는 좌안 위치에서 촬영한 2차원 영상을 똑같이 출력한다.
이어서, 우측 카메라(10R)는 처음 위치에서 조금씩 우측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 2개로 보이기 시작한 시점(d_inc_right)을 측정한다(226).
반대로 우안으로는 좌안 위치와 가장 먼 거리(높이는 같음)에서 촬영한 영상을 출력한다.
이어서, 모션 제어부(40)는 X축 우측 모터(33)를 구동시켜 우측 카메라(10R)를 조금씩 좌측으로 이동한다. 우측 카메라(10R)가 조금씩 좌측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 1개로 보이기 시작한 시점(d_dec_right)을 측정한다(228).
따라서, 카메라 포즈 제어부(70)는 사용자가 화면이 2개로 보이기 시작한 시점(d_inc_right)과 사용자가 화면이 1개로 보이기 시작한 시점(d_dec_right) 중에서 더 작은 값(d_user_right = min(d_inc_right, d_dec_right))을 카메라 포즈 정보(d_user_right)로 선정한다(230).
다음으로, 카메라 포즈 제어부(70)는 우측 카메라(10R)의 높이를 바꾸어 가면서(232) 각각의 위치에서 2차원 영상을 촬영한다(234).
우측 카메라(10R)의 높이를 바꾸어 가면서 2차원 영상을 촬영하는 방법은 다음과 같다.
카메라 포즈 제어부(70)의 제어에 의해 모션 제어부(40)에서 Y축 우측 모터(34)를 구동시킨다. Y축 우측 모터(34)의 구동에 따라 우측 카메라(10R)가 Y 방향으로 이동하면서 우측 카메라(10R)의 높이를 바꾸는 것이다.
영상 디스플레이부(100)는 처음 우안으로는 좌안 위치에서 촬영한 2차원 영상을 똑같이 출력한다.
이어서, 우측 카메라(10R)는 처음 위치에서 조금씩 상측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 2개로 보이기 시작한 시점(h_inc_right)을 측정한다(236).
반대로 우안으로는 좌안 위치와 가장 먼 거리(카메라간 거리는 동일한 영상)에서 촬영한 영상을 출력한다.
이어서, 모션 제어부(40)는 Y축 우측 모터(34)를 구동시켜 우측 카메라(10R)를 조금씩 하측으로 이동한다. 우측 카메라(10R)가 조금씩 하측으로 이동하면서 촬영한 2차원 영상을 영상 디스플레이부(100)로 출력하면서 사용자가 화면이 1개로 보이기 시작한 시점(h_dec_right)을 측정한다(238).
따라서, 카메라 포즈 제어부(70)는 사용자가 화면이 2개로 보이기 시작한 시점(h_inc_right)과 사용자가 화면이 1개로 보이기 시작한 시점(h_dec_right) 중에서 더 작은 값(h_user_right = min(h_inc_right, h_dec_right))을 카메라 포즈 정보(h_user_right)로 선정한다(240).
이에 따라, 카메라 포즈 제어부(70)는 선정된 카메라 포즈 정보(d_user_right, h_user_right) 즉, 우측 카메라(10R)의 포즈(방향 및 위치) 정보를 사용자 DB(60)에 저장한다(242).
도 4는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 카메라 캘리브레이션을 수행하는 방법을 나타낸 동작 순서도이고, 도 5는 도 4의 카메라 캘리브레이션을 위한 캘리브레이션 패턴을 나타낸 도면이며, 도 6은 도 5의 캘리브레이션 패턴을 스테레오 카메라 중앙에 놓은 상태를 나타낸 도면이다.
먼저, 도 5에 도시한 캘리브레이션 패턴(110)을 도 6에 도시한 바와 같이, 좌우측 카메라(10L, 10R) 중앙에 놓는다(300).
이후, 좌우측 카메라(10L, 10R)를 사용자 DB(60)에 저장된 카메라 포즈 정보((d_user_left, h_user_left), (d_user_right, h_user_right))만큼 이동하면서 총 4장의 2차원 영상을 촬영한다(302).
총 4장의 2차원 영상은, (a)우측 카메라(10R) 원래 위치에서 촬영한 2차원 영상, (b)좌측 카메라(10L) 위치에서 우측 카메라(10R)로 촬영한 2차원 영상, (c)좌측 카메라(10L) 원래 위치에서 촬영한 2차원 영상, (d)우측 카메라(10R) 위치에서 좌측 카메라(10L)로 촬영한 2차원 영상을 포함한다.
따라서, 카메라 포즈 제어부(70)는 4장의 2차원 영상으로부터 6개의 기초 행렬(fundamental matrix)을 얻어내고(304), 얻어진 6개의 기초 행렬(fundamental matrix)을 사용자 DB(60)에 저장한다(306).
6개의 기초 행렬(fundamental matrix)은 M1:(a)-(b), M2:(a)-(c), M3:(a)-(d), M4:(b)-(c), M5:(b)-(d), M6:(c)-(d)를 포함한다.
일반적으로, 사람마다 두 눈의 상태(시력)와 눈의 배치가 다르기 때문에 효과적으로 3차원 영상을 재생하기 위해서는 사람마다 다른 눈의 배치와 시력을 고려해야 한다. 이를 도 7을 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 사용자 정보에 따라 카메라의 포즈를 제어하여 3차원 영상을 출력하는 방법을 나타낸 동작 순서도이다.
도 7에서, 사용자는 사용자 입력부(50)를 통해 사용자 정보를 입력한다(400). 사용자 정보란 사람마다 다른 눈의 배치와 시력을 고려하기 위한 것이다.
사용자가 사용자 정보를 입력하면, 카메라 포즈 제어부(70)는 사용자 DB(60)에서 카메라 포즈 정보((d_user_left, h_user_left), (d_user_right, h_user_right))와 같은 사용자에 따른 카메라 포즈 캘리브레이션(camera pose calibration) 값을 얻어낸다(402).
이어서, 카메라 포즈 제어부(70)는 사용자 DB(60)에서 얻어진 카메라 포즈 캘리브레이션(camera pose calibration) 값에 따라 카메라 포즈(camera pose)를 위치시킨다(404).
카메라 포즈 캘리브레이션(camera pose calibration) 값에 따라 카메라 포즈(camera pose)를 위치시키면, 영상 생성부(90)는 좌측 카메라(10L)에서 입력된 영상(I_left)과 우측 카메라(10R)에서 입력된 영상(I_right)을 사용자 DB(60)로부터 얻어진 기초 행렬(fundamental matrix) M1로 변환한 영상과 조합하여 아래의 [식 1]과 같이, 재구성된 좌측 카메라 영상(I_new_left)을 만들어 낸다.
[식 1]
I_new_left = w*I_left + (1-w)*I_right*M1 (w은 0에서 1사이의 값)
마찬가지로, 영상 생성부(90)는 우측 카메라(10R)에서 입력된 영상(I_right)과 좌측 카메라(10L)에서 입력된 영상(I_left)을 사용자 DB(60)로부터 얻어진 기초 행렬(fundamental matrix) M6으로 변환한 영상과 조합하여 아래의 [식 2]와 같이, 재구성된 우측 카메라 영상(I_new_right)을 만들어 낸다(406).
[식 2]
I_new_right = w*I_right + (1-w)*I_left*M6 (w은 0에서 1사이의 값)
이에 따라, 영상 생성부(90)는 재구성된 좌우측 카메라 영상(I_new_left, I_new_right)으로부터 3차원 입체(stereoscopic) 영상을 만들어서 이를 영상 디스플레이부(100)로 출력한다(408).
이와 같이, 카메라(10L, 10R)의 포즈를 바꿀 수 있는 스테레오 카메라 시스템을 구축하여 사람의 눈 배치에 따라 카메라(10L, 10R)의 포즈를 제어하여 3차원 영상을 출력하면, 사용자에게 맞춰진 3차원 입체 영상을 디스플레이할 수 있어 눈의 피로나 어지러움을 줄일 수 있게 되므로 사용자에게 맞는 최적의 입체감을 제공할 수 있게 된다.
그러나, 본 발명의 일 실시예에 의한 3차원 영상 시스템은 카메라 선택의 폭을 넓히고, 저가의 스테레오 카메라를 구현하기 위해 파라미터가 서로 다른 두 개의 카메라(10L, 10R)를 사용하므로 카메라(10L, 10R) 동작의 비동기로 인해 발생하는 문제가 발생할 수 있다.
이에, 본 발명의 일 실시예에 의한 3차원 영상 시스템에서는 서로 다른 카메라(10L, 10R)에서 비동기로 얻어진 영상에 대해 영상 처리를 통해 영상의 차이를 줄이는 방법을 제안하였다. 이를 도 8 및 도 9를 참조하여 설명한다.
도 8은 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 두 개의 카메라(10L, 10R)에서 비동기로 인해 발생한 영상의 차이를 줄이는 제1방법을 나타낸 동작 순서도이다.
두 개의 카메라(10L, 10R)가 개별적으로 auto-white balancing을 지원하는 경우, 같은 카메라 파라미터(camera parameter)를 가진 카메라 모듈이라도 얻어지는 영상에 차이가 발생하므로 밝기(Brightness)를 일치시켜야 한다.
도 8에서, 영상 처리부(80)는 두 개의 카메라 영상에서 겹쳐지는 영역을 추출한다(500). 이때, 겹쳐지는 영역이 특정 threshold보다 작은 경우에는 밝기(brightness)를 일치시키는 작업은 수행하지 않는다.
이어서, 영상 처리부(80)는 추출된 두 영상의 밝기를 계산하고(502), 추출된 두 영상의 밝기의 평균값을 계산한다(504).
따라서, 영상 처리부(80)는 추출된 두 영상의 밝기가 계산된 평균값을 가지도록 각 픽셀(pixel)의 밝기를 변경한다(506).
또한, 영상 처리부(80)는 두 개의 카메라(10L, 10R)에서 겹쳐지지 않는 영역은 계산된 평균값에 맞추어서 각 픽셀의 밝기를 변경한다.
이에 따라, 영상 생성부(90)는 영상 처리부(80)에서 계산된 평균값에 맞추어서 각 픽셀의 밝기를 변경하여 만들어진 영상에 대해서 3차원 입체(stereoscopic) 영상을 만들어서 이를 영상 디스플레이부(100)로 출력한다.
도 9는 본 발명의 일 실시예에 의한 3차원 영상 시스템에서 두 개의 카메라(10L, 10R)에서 비동기로 인해 발생한 영상의 차이를 줄이는 제2방법을 나타낸 동작 순서도이다.
두 개의 카메라(10L, 10R)의 샘플링 시간(Sampling time)이 다른 경우, 두 영상에 차이가 발생하므로 두 개의 카메라(10L, 10R) 사이에 변환을 통해서 샘플링 시간의 차이를 극복한다.
도 9에서, 영상 추출부(20)는 영상을 추출(capture)할 때 시간 스탬프(time stamp)를 같이 기록한다.
두 개의 카메라(10L, 10R)에서 각각 획득된 영상이 가장 최근에 추출된 시점이 t_l, t_r인 경우에(600), t(t>t_l, t>t_r) 시점에서 영상은 다음과 같이 계산한다.
(1) 두 개의 카메라 영상에서 겹쳐지는 영역을 추출했을 때(602), 영역의 크기가 특정 threshold보다 작은 경우에는 아래의 [식 3]과 같이, 계산한다(604).
[식 3]
- I_l(t) = I_l(t_l)
- I_r(t) = I_r(t_r)
(2) 두 개의 카메라 영상에서 겹쳐지는 영역을 추출했을 때(602), 겹쳐지는 영역이 크고, t_l>t_r인 경우에는 아래의 [식 4]와 같이, 계산한다(604).
[식 4]
- I_l(t) = I_l(t_l)
- I_r(t)
겹쳐지는 영역 = w*I_l(t_l)*M6 + (1-w)*I_r(t_r) (w는 0에서 1사이의 값)
겹쳐지지 않는 영역 = (1-w)*I_r(t_r)을 기본으로 하고, boundary에서 멀어질수록 w은 0에 가깝게 한다.
(3) 두 개의 카메라 영상에서 겹쳐지는 영역을 추출했을 때(602), 겹쳐지는 영영이 크고 t_rl>t_l인 경우에는 아래의 [식 5]와 같이, 계산한다(604).
[식 5]
- I_r(t) = I_r(t_r)
- I_l(t)
겹쳐지는 영역 = w*I_r(t_r)*M1 + (1-w)*I_l(t_l) (w는 0에서 1사이의 값)
겹쳐지지 않는 영역 = (1-w)*I_l(t_l)을 기본으로 하고, boundary에서 멀어질수록 w은 0에 가깝게 한다.
10 : 스테레오 카메라 10L, 10R : 좌우측 카메라
20 : 영상 추출부 30 : 구동 장치
40 : 모션 제어부 50 : 사용자 입력부
60 : 사용자 DB 70 : 카메라 포즈 제어부
80 : 영상 처리부 90 : 영상 생성부
100 : 영상 디스플레이부

Claims (18)

  1. 사용자 정보를 입력하는 사용자 입력부;
    각각 2차원 영상을 획득하는 두 개의 카메라를 포함하는 스테레오 카메라;
    상기 두 개의 카메라를 통해 획득된 상기 2차원 영상으로부터 사용자에게 맞는 3차원 영상을 재생하도록 상기 사용자 정보에 따라 X 및 Y 방향에서의 상기 두 개의 카메라의 위치를 제어하는 제어부; 및
    상기 제어부의 제어에 따라 상기 X 및 Y 방향에서의 상기 두 개의 카메라를 이동시키는 구동 장치를 포함하는 3차원 영상 시스템.
  2. 제1항에 있어서,
    상기 사용자 정보는 상기 사용자의 눈 배치와 시력에 대한 정보를 포함하는 3차원 영상 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 두 개의 카메라는 각각 서로 다른 파라미터를 가지는 좌측 카메라 및 우측 카메라인 3차원 영상 시스템.
  5. 제4항에 있어서,
    상기 구동 장치는 상기 좌측 카메라 및 상기 우측 카메라의 위치를 조절하기 위해 구동되는 복수 개의 모터인 3차원 영상 시스템.
  6. 제5항에 있어서,
    상기 복수 개의 모터는 상기 좌측 카메라를 상기 X 및 Y 방향으로 이동시키는 복수 개의 좌측 모터와, 상기 우측 카메라를 상기 X 및 Y 방향으로 이동시키는 복수 개의 우측 모터를 포함하는 3차원 영상 시스템.
  7. 제1항에 있어서,
    상기 사용자 정보에 따라 제어되는 상기 두 개의 카메라의 위치 정보를 데이터베이스화하여 저장하는 사용자 DB를 더 포함하고,
    상기 두 개의 카메라는 각각 서로 다른 파라미터를 가지는 3차원 영상 시스템.
  8. 제7항에 있어서,
    상기 제어부는 상기 두 개의 카메라가 가지는 파라미터에 따라 상기 사용자 DB를 업데이트하는 3차원 영상 시스템.
  9. 제7항에 있어서,
    상기 두 개의 카메라로부터 획득된 상기 2차원 영상을 상기 사용자 DB에 저장된 상기 두 개의 카메라의 상기 위치 정보와 조합하여 좌측 영상 및 우측 영상을 재구성하는 영상 처리부; 및
    상기 재구성된 좌측 영상 및 우측 영상으로부터 상기 사용자에게 맞는 상기 3차원 영상을 생성하는 영상 생성부를 더 포함하는 3차원 영상 시스템.
  10. 제7항에 있어서,
    상기 사용자 DB를 이용하여 상기 두 개의 카메라로부터 획득된 상기 2차원 영상의 차이를 감소시키는 영상 처리부; 및
    상기 차이가 감소된 상기 2차원 영상으로부터 상기 사용자에게 맞는 상기 3차원 영상을 생성하는 영상 생성부를 더 포함하는 3차원 영상 시스템.
  11. 제10항에 있어서,
    상기 영상 처리부는 상기 두 개의 카메라에 의해 획득된 상기 2차원 영상에서 겹쳐지는 영역들을 추출하고, 상기 추출된 영역들의 밝기를 계산하여 상기 밝기의 평균값을 구하고, 상기 평균값에 따라 각 픽셀의 밝기를 변경하여 상기 두 개의 카메라로부터 획득된 상기 2차원 영상의 차이를 감소시키는 3차원 영상 시스템.
  12. 제10항에 있어서,
    상기 영상 처리부는 상기 두 개의 카메라에 의해 획득된 상기 2차원 영상에서 겹쳐지는 영역들을 추출하고, 상기 추출된 영역들의 크기에 따라 샘플링 시간을 조절하여 상기 두 개의 카메라로부터 획득된 상기 2차원 영상의 차이를 감소시키는 3차원 영상 시스템.
  13. 스테레오 카메라를 기반으로 하여 3차원 영상을 재생하는 방법에 있어서,
    상기 스테레오 카메라의 두 개의 카메라를 통해 2차원 영상을 획득하고;
    상기 두 개의 카메라를 X 및 Y 방향으로 이동시켜 상기 획득된 2차원 영상을 사용자에게 맞게 조절하고;
    상기 사용자에게 맞게 조절된 상기 두 개의 카메라의 위치 정보를 사용자 DB에 저장하고;
    상기 사용자 DB에 저장된 상기 위치 정보에 따라 상기 두 개의 카메라의 위치를 제어하여 상기 사용자에게 맞는 3차원 영상을 출력하는 3차원 영상 재생 방법.
  14. 제13항에 있어서,
    상기 획득된 2차원 영상을 사용자에게 맞게 조절하는 것은,
    상기 사용자의 눈 배치와 시력에 맞게 상기 두 개의 카메라의 위치를 조절하는 3차원 영상 재생 방법.
  15. 제13항에 있어서,
    상기 두 개의 카메라는 각각 서로 다른 파라미터를 가지는 3차원 영상 재생 방법.
  16. 제15항에 있어서,
    상기 두 개의 카메라로부터 획득된 상기 2차원 영상을 상기 사용자 DB에 저장된 상기 두 개의 카메라의 상기 위치 정보와 조합하여 좌측 영상 및 우측 영상을 재구성하고;
    상기 재구성된 좌측 영상 및 우측 영상으로부터 상기 사용자에게 맞는 상기 3차원 영상을 생성하는 것을 더 포함하는 3차원 영상 재생 방법.
  17. 제16항에 있어서,
    상기 두 개의 카메라에 의해 획득된 상기 2차원 영상에서 겹쳐지는 영역들을 추출하고;
    상기 추출된 영역들의 밝기를 계산하여 상기 밝기의 평균값을 구하고;
    상기 평균값에 따라 각 픽셀의 밝기를 변경하여 상기 두 개의 카메라로부터 획득된 상기 2차원 영상의 차이를 감소시키는 것을 더 포함하는 3차원 영상 재생 방법.
  18. 제16항에 있어서,
    상기 두 개의 카메라에 의해 획득된 상기 2차원 영상에서 겹쳐지는 영역들을 추출하고;
    상기 추출된 영역들의 크기에 따라 샘플링 시간을 조절하여 상기 두 개의 카메라로부터 획득된 상기 2차원 영상의 차이를 감소시키는 것을 더 포함하는 3차원 영상 재생 방법.
KR1020120013057A 2012-02-09 2012-02-09 3차원 영상 시스템 및 그 영상 재생 방법 KR101821141B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120013057A KR101821141B1 (ko) 2012-02-09 2012-02-09 3차원 영상 시스템 및 그 영상 재생 방법
CN201310049889.8A CN103248910B (zh) 2012-02-09 2013-02-07 三维成像系统及其图像再现方法
US13/762,926 US9258546B2 (en) 2012-02-09 2013-02-08 Three-dimensional imaging system and image reproducing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120013057A KR101821141B1 (ko) 2012-02-09 2012-02-09 3차원 영상 시스템 및 그 영상 재생 방법

Publications (2)

Publication Number Publication Date
KR20130091819A KR20130091819A (ko) 2013-08-20
KR101821141B1 true KR101821141B1 (ko) 2018-01-23

Family

ID=48928098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120013057A KR101821141B1 (ko) 2012-02-09 2012-02-09 3차원 영상 시스템 및 그 영상 재생 방법

Country Status (3)

Country Link
US (1) US9258546B2 (ko)
KR (1) KR101821141B1 (ko)
CN (1) CN103248910B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
JP6511386B2 (ja) * 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
CN107925728B (zh) * 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
KR101855937B1 (ko) * 2016-08-30 2018-05-09 엘지전자 주식회사 차량용 디스플레이 장치
CN107958439B (zh) * 2017-11-09 2021-04-27 北京小米移动软件有限公司 图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4018273B2 (ja) * 1998-12-10 2007-12-05 キヤノン株式会社 映像処理装置及びその制御方法及び記憶媒体
JP2011087128A (ja) * 2009-10-15 2011-04-28 Fujifilm Corp 複眼カメラ及び被写体判別方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162074B2 (en) * 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
CA2476610A1 (en) * 2002-02-27 2003-09-04 Geo-Rae Co., Ltd. Method and system for controlling a stereoscopic camera
KR20050080534A (ko) 2004-02-10 2005-08-17 김성주 3차원 입체 효과 최적화를 위한 카메라 위치의 지능 배치 기법
JP2006090961A (ja) 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd ３次元計測装置、３次元計測方法、および記録媒体
KR20100131061A (ko) * 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
JP5380184B2 (ja) * 2009-07-09 2014-01-08 富士フイルム株式会社 複眼カメラ及びその制御方法
JP4865065B1 (ja) * 2010-07-14 2012-02-01 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ステレオ撮像装置の制御システム
KR20120028121A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 스테레오 카메라의 컨버전스 각도 결정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4018273B2 (ja) * 1998-12-10 2007-12-05 キヤノン株式会社 映像処理装置及びその制御方法及び記憶媒体
JP2011087128A (ja) * 2009-10-15 2011-04-28 Fujifilm Corp 複眼カメラ及び被写体判別方法

Also Published As

Publication number Publication date
CN103248910B (zh) 2017-04-12
US9258546B2 (en) 2016-02-09
US20130208097A1 (en) 2013-08-15
CN103248910A (zh) 2013-08-14
KR20130091819A (ko) 2013-08-20

Similar Documents

Publication Publication Date Title
EP0961506B1 (en) Autostereoscopic display
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP2011071898A (ja) 立体映像表示装置および立体映像表示方法
WO2012020522A1 (ja) 画像表示装置、画像表示方法、および画像補正方法
GB2498184A (en) Interactive autostereoscopic three-dimensional display
KR101821141B1 (ko) 3차원 영상 시스템 및 그 영상 재생 방법
US9933626B2 (en) Stereoscopic image
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
Honda et al. Three-dimensional display technologies satisfying" super multiview condition"
CN102006493A (zh) 一种3d视频图像的视差调节方法及装置
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
KR101322187B1 (ko) 입체 동영상 촬영용 장치 및 카메라
JP6207640B2 (ja) ２次元映像の立体映像化表示装置
KR20120133710A (ko) 비대칭 양안 카메라 모듈을 이용한 입체 3ｄ 영상 생성 장치 및 그 방법
WO2012147482A1 (ja) 立体画像表示装置および立体画像表示方法
JP2005175539A (ja) 立体映像表示装置及び映像表示方法
US20180152693A1 (en) Method of reproducing images with a three-dimensional appearance
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
JP2016054415A (ja) 立体撮像装置および立体撮像プログラム
KR101578890B1 (ko) 입체 동영상 촬영용 장치 및 카메라
KR20140000723A (ko) 3ｄ 카메라 모듈
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
KR101173280B1 (ko) 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
KR101433645B1 (ko) 입체 동영상 촬영용 장치 및 카메라
KR101634439B1 (ko) 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant