KR102309976B1 - 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법 - Google Patents

하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법 Download PDF

Info

Publication number
KR102309976B1
KR102309976B1 KR1020200096630A KR20200096630A KR102309976B1 KR 102309976 B1 KR102309976 B1 KR 102309976B1 KR 1020200096630 A KR1020200096630 A KR 1020200096630A KR 20200096630 A KR20200096630 A KR 20200096630A KR 102309976 B1 KR102309976 B1 KR 102309976B1
Authority
KR
South Korea
Prior art keywords
image
depth
opas
subject
information
Prior art date
Application number
KR1020200096630A
Other languages
English (en)
Inventor
경종민
Original Assignee
주식회사 덱셀리온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 덱셀리온 filed Critical 주식회사 덱셀리온
Priority to KR1020200096630A priority Critical patent/KR102309976B1/ko
Application granted granted Critical
Publication of KR102309976B1 publication Critical patent/KR102309976B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H04N5/2253—
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/36965—

Abstract

하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법이 개시된다. 일 실시예에 따르면, 디스플레이 시스템, 피사체에 대한 깊이 정보를 획득하기 위한 제1 촬영 장치; 상기 피사체에 대한 컬러 정보를 획득하기 위한 제2 촬영 장치; 상기 피사체에 대한 열화상 정보를 획득하기 위한 제3 촬영 장치; 및 상기 피사체에 대한 깊이 정보로부터 깊이 이미지를 획득하고, 상기 피사체에 대한 컬러 정보로부터 컬러 이미지를 획득하며, 상기 피사체에 대한 열화상 정보로부터 열화상 이미지를 획득하고, 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는 영상 처리부를 포함한다.

Description

하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법 {SYSTEM FOR SIMULTANEOIUSLY DISPLAYING IMAGES CONTAINING DIFFERENT INFORMATION FOR A SCENE AND METHOD THEREFORE}
아래의 설명은 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템에 관한 것으로, 구체적으로 하나의 장면에 대한 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지들을 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이하는 시스템 및 그 방법에 대한 기술이다.
카메라 시스템(정확하게는 카메라 시스템에 포함되는 이미지 센서)과 피사체 사이의 거리로 나타내는 피사체에 대한 깊이가 산출되는 방식으로는, 카메라 시스템의 복수의 애퍼처들을 통해 획득되는 이미지들 사이의 블러(blur) 변화를 이용하는 방식과 시차를 이용하는 방식이 있다.
보다 상세하게 종래의 시차를 이용하는 방식은, 두 개의 렌즈들 및 이미지 센서로 스테레오 카메라 시스템을 구성한 뒤, 두 개의 렌즈들을 통해 각각 유입되는 광 신호를 처리하여 시차가 존재하는 두 개의 이미지들을 획득하고, 수식을 통해 두 개의 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 계산할 수 있다.
그러나 종래의 시차를 이용하는 방식은 두 개의 렌즈들로 하나의 카메라 시스템을 구성하기 때문에, 넓은 단면적으로 인해 소형화가 힘든 단점과 카메라 시스템의 베이스라인의 길이가 짧아 이미지들 사이의 시차가 작게 되어 산출되는 깊이의 범위가 저하되는 문제점을 갖는다.
본 발명은, 카메라 시스템에서 종래의 시차를 이용하는 방식의 단점과 문제점을 해결하고, 이러한 카메라 시스템을 이용하여 획득된 깊이 정보 또는 깊이 이미지와 다른 촬영 장치 또는 시스템을 이용하여 획득된 컬러 이미지 또는 열화상 이미지를 동시에 디스플레이할 수 있는 시스템을 제공한다.
일 실시예들은 넓은 단면적으로 인해 소형화가 힘든 단점과 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 문제점을 해결하기 위한 구조를 갖는 카메라 시스템을 제안한다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용함으로써, 카메라 시스템의 단면적을 최소화하여 소형화를 도모하는 구조를 제안한다.
또한, 일 실시예들은 수평적 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직적 시차를 획득하기 위한 한 쌍의 수직 OPA들을 형성하고, 수평 OPA들과 수직 OPA들을 이용하여 수평적 시차와 수직적 시차를 획득함으로써, 산출되는 깊이의 범위를 향상시키는 구조를 제안한다.
또한, 일 실시예들은 상술한 카메라 시스템을 이용하여 획득된 깊이 이미지와 컬러 촬영 장치 또는 열화상 촬영 장치 등을 이용하여 획득된 컬러 이미지와 열화상 이미지를 동시에 디스플레이하거나 필요에 따라 깊이 이미지와 컬러 이미지 또는 깊이 이미지와 열화상 이미지를 오버랩핑하여 디스플레이할 수 있는 디스플레이 시스템을 제안한다.
일 실시예에 따르면, 디스플레이 시스템은, 피사체에 대한 깊이 정보를 획득하기 위한 제1 촬영 장치; 상기 피사체에 대한 컬러 정보를 획득하기 위한 제2 촬영 장치; 상기 피사체에 대한 열화상 정보를 획득하기 위한 제3 촬영 장치; 및 상기 피사체에 대한 깊이 정보로부터 깊이 이미지를 획득하고, 상기 피사체에 대한 컬러 정보로부터 컬러 이미지를 획득하며, 상기 피사체에 대한 열화상 정보로부터 열화상 이미지를 획득하고, 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는 영상 처리부를 포함한다.
일 측면에 따르면, 상기 영상 처리부는 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 상기 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 상기 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이하는, 것을 특징으로 할 수 있다.
다른 일 측면에 따르면, 상기 영상 처리부는 하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 상기 분할된 서브화면들 중 서로 다른 서브화면에 상기 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 영상 처리부는 상기 제1 촬영 장치가 모노 이미지 센서를 포함하는 촬영 장치인 경우, 상기 어느 하나의 서브화면에 상기 깊이 이미지와 컬러 이미지 또는 상기 깊이 이미지와 상기 열화상 이미지를 오버랩핑(overlapping)하여 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 영상 처리부는 상기 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이된 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지에 대하여, 특정 부분이 선택되면 상기 선택된 특정 부분을 인식하여 나머지 이미지에 상기 특정 부분에 대응하는 지점이 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 영상 처리부는 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 각각을 각각의 디스플레이 장치에 동시에 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 제1 촬영 장치는, 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들을 포함함-로 구성되는 이미지 센서를 포함하고, 상기 복수의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)를 형성하기 위한 차광막이 배치되며, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 각각에 의해 형성되고, 수평 방향의 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직 방향의 시차를 획득하기 위한 한 쌍의 수직 OPA들을 포함하고, 상기 영상 처리부는 상기 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차(Disparity)와 상기 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 상기 깊이 이미지를 획득하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 수평 OPA들 각각과 상기 수직 OPA들 각각은, 대각 방향에 위치한 픽셀들 각각의 상부에 형성되는, 것을 특징으로 할 수 있다.
일 실시에에 따르면, 디스플레이 방법은, 피사체에 대한 깊이 정보를 획득하는 단계; 상기 피사체에 대한 컬러 정보를 획득하는 단계; 상기 피사체에 대한 열화상 정보를 획득하는 단계; 상기 피사체에 대한 깊이 정보로부터 깊이 이미지를 획득하고, 상기 피사체에 대한 컬러 정보로부터 컬러 이미지를 획득하며, 상기 피사체에 대한 열화상 정보로부터 열화상 이미지를 획득하는 단계; 및 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는 단계를 포함한다.
일 측면에 따르면, 상기 제어하는 단계는 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 상기 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 상기 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
다른 일 측면에 따르면, 상기 제어하는 단계는 하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 상기 분할된 서브화면들 중 서로 다른 서브화면에 상기 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 제어하는 단계는 상기 깊이 정보가 모노 이미지 센서에 의해 획득되는 경우, 상기 어느 하나의 서브화면에 상기 깊이 이미지와 컬러 이미지 또는 상기 깊이 이미지와 상기 열화상 이미지를 오버랩핑(overlapping)하여 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 제어하는 단계는 상기 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이된 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지에 대하여, 특정 부분이 선택되면 상기 선택된 특정 부분을 인식하여 나머지 이미지에 상기 특정 부분에 대응하는 지점이 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
상기 제어하는 단계는 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 각각을 각각의 디스플레이 장치에 동시에 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 깊이 정보를 획득하는 단계는 모노 이미지 센서를 포함하는 모노 촬영 장치로부터 상기 피사체에 대한 깊이 정보를 획득하고, 상기 모노 촬영 장치는 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들을 포함함-로 구성되는 이미지 센서를 포함하며, 상기 복수의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)를 형성하기 위한 차광막이 배치되고, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 각각에 의해 형성되고, 수평 방향의 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직 방향의 시차를 획득하기 위한 한 쌍의 수직 OPA들을 포함하며, 상기 제어하는 단계는 상기 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차(Disparity)와 상기 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 상기 깊이 이미지를 획득하는, 것을 특징으로 할 수 있다.
일 실시예들은 넓은 단면적으로 인해 소형화가 힘든 단점과 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 문제점을 해결하기 위한 구조를 갖는 카메라 시스템을 제안할 수 있다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용함으로써, 카메라 시스템의 단면적을 최소화하여 소형화를 도모하는 구조를 제안할 수 있다.
또한, 일 실시예들은 수평적 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직적 시차를 획득하기 위한 한 쌍의 수직 OPA들을 형성하고, 수평 OPA들과 수직 OPA들을 이용하여 수평적 시차와 수직적 시차를 획득함으로써, 산출되는 깊이의 범위를 향상시키는 구조를 제안할 수 있다.
또한, 일 실시예들은 상술한 카메라 시스템을 이용하여 획득된 깊이 이미지와 컬러 촬영 장치 또는 열화상 촬영 장치 등을 이용하여 획득된 컬러 이미지와 열화상 이미지를 동시에 디스플레이하거나 필요에 따라 깊이 이미지와 컬러 이미지 또는 깊이 이미지와 열화상 이미지를 오버랩핑하여 디스플레이할 수 있는 디스플레이 시스템을 제안할 수 있다.
도 1은 일 실시예에 따른 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 카메라 시스템의 제약 조건을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 5는 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이다.
도 6는 도 5에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이와 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 7은 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 디스플레이 시스템을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 서로 다른 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 방법을 설명하기 위한 도면이다.
도 10은 다른 일 실시예에 따른 서로 다른 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 방법을 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
깊이가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(Dual Aperture; DA를 이용한 시차 방식), 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식 등이 있다.
일 실시예에 따른 카메라 시스템은 이러한 종래의 방식들 중 이미지들 사이의 시차를 이용하는 방식을 기반으로 하나, 단일 렌즈에 복수의 애퍼처들을 형성하는 대신에, 이미지 센서에 포함되는 픽셀 어레이의 픽셀들에 OPA(Offset Pixel Aperture)를 적용함으로써, 단면적을 최소화하여 소형화를 도모하고자 한다.
특히, 일 실시예에 따른 카메라 시스템은 수평적 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직적 시차를 획득하기 위한 한 쌍의 수직 OPA들을 형성하고, 수평 OPA들과 수직 OPA들을 이용하여 수평적 시차와 수직적 시차를 획득함으로써, 산출되는 깊이의 범위를 향상시키고자 한다.
본 발명에서의 OPA는 차광막이 형성되지 않은 부분으로, 픽셀 상부에 배치되는 차광막을 이용하여 OPA를 형성할 수 있다.
도 1은 일 실시예에 따른 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이고, 도 2는 일 실시예에 따른 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이며, 도 3은 일 실시예에 따른 카메라 시스템의 제약 조건을 설명하기 위한 도면이다. 이하, 도 1은 설명의 편의를 위해 일 실시예에 따른 카메라 시스템에서 OPA가 적용된 하나의 픽셀을 기준으로 상술되나, 일 실시예에 따른 카메라 시스템은 도 2와 같이 OPA들이 적용된 두 개의 픽셀들을 포함하는 이미지 센서를 바탕으로 한다.
도 1을 참조하면, 일 실시예에 따른 카메라 시스템(110)에서 이미지 센서의 픽셀 어레이에 포함되는 어느 하나의 픽셀에는 OPA(111)를 형성하기 위한 차광막(112)이 배치된다. 이 때, OPA(111)의 중심이 픽셀의 중심으로부터 오프셋된 거리인 O1는, 단일 렌즈(121)에 애퍼처(122)가 형성된 카메라 시스템(종래의 카메라 시스템)(120)에서의 애퍼처(122)의 중심이 단일 렌즈(121)의 중심으로부터 오프셋된 거리인 O2와 비례하는 관계를 갖는다.
따라서, 픽셀의 중심으로부터 어긋난 중심 위치를 갖는 OPA(111)는 단일 렌즈(121)의 중심으로부터 어긋난 중심 위치를 갖도록 단일 렌즈(121) 상에 형성된 애퍼처(122)와 동일하게 치부될 수 있으며, 이로 인해 일 실시예에 따른 카메라 시스템(110)은 종래의 DA를 이용한 시차 방식에서의 깊이 산출 수식을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
보다 상세하게, 도 2를 참조하면, 일 실시예에 따른 카메라 시스템(200)에서 단일 렌즈(210)의 직경
Figure 112020081158616-pat00001
및 초점 거리 f와 관련된 파라미터
Figure 112020081158616-pat00002
(
Figure 112020081158616-pat00003
는, 단일 렌즈(210)의 직경
Figure 112020081158616-pat00004
가 OPA들(221, 231)이 서로 이격된 거리(정확하게는, 제1 OPA(221)의 중심과 제2 OPA(231)의 중심 사이의 거리)인
Figure 112020081158616-pat00005
및 OPA들(221, 231)을 형성하기 위한 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이인 h와 관련하여 비례하는 관계를 갖기 때문에(
Figure 112020081158616-pat00006
), 픽셀들(220, 230) 각각의 높이인 h 및 OPA들(221, 231)이 서로 이격된 거리인
Figure 112020081158616-pat00007
와 관련하여 비례하는 관계를 갖게 된다(
Figure 112020081158616-pat00008
). 이에, 일 실시예에 따른 카메라 시스템(200)은 종래의 DA를 이용한 시차 방식에서의 깊이 산출 수식을 기반으로 아래의 식 1을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
<식 1>
Figure 112020081158616-pat00009
식 1에서, ds는 일 실시예에 따른 카메라 시스템(200)의 이미지 센서에서 OPA들(221, 231)이 배치된 두 개의 픽셀들(220, 230)을 통해 획득되는 이미지들 사이의 시차를 의미하고, f는 초점 거리를 의미하며, a는 피사체 거리(피사체로부터 카메라 시스템의 단일 렌즈의 제1 주평면까지의 거리로서, 피사체에 대한 깊이에 해당됨)를 의미하고,
Figure 112020081158616-pat00010
는 이미지 센서에 초점이 맞은 피사체 거리를 의미하며,
Figure 112020081158616-pat00011
는 단일 렌즈(210)의 직경
Figure 112020081158616-pat00012
및 초점 거리 f와 관련된 파라미터를 의미한다.
이 때, 단일 렌즈(210)의 직경
Figure 112020081158616-pat00013
및 초점 거리 f와 관련된 파라미터인
Figure 112020081158616-pat00014
가 카메라 시스템(200)에 포함되는 단일 렌즈의 f 넘버보다 작을 경우, 도 3에 도시된 310 경우와 같이 이미지 촬영 자체가 불가능하다. 따라서,
Figure 112020081158616-pat00015
는 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 한다.
한편, 식 1로부터 유도되는 픽셀 별 시차를 나타내는 아래의 식 2(식 2에서 d는 픽셀 사이즈를 의미함)는, 초점 거리인 f가 픽셀들로 구성되는 픽셀 어레이의 사이즈 및 FOV(Field Of View)와 관련하여 비례하는 관계를 갖고 있기 때문에(
Figure 112020081158616-pat00016
), 아래의 식 3과 같이 표현될 수 있다.
<식 2>
Figure 112020081158616-pat00017
<식 3>
Figure 112020081158616-pat00018
따라서,
Figure 112020081158616-pat00019
는 카메라 시스템(200)에서 OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)을 형성하기 위한 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이와 관련하여 비례하는 관계를 갖는다(
Figure 112020081158616-pat00020
).
즉, 전술된
Figure 112020081158616-pat00021
가 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건은, OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)이 적용된 픽셀들(220, 230) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112020081158616-pat00022
)가 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건으로 해석될 수 있다. 이하, 설명되는 일 실시예에 따른 카메라 시스템(200)은 해당 제약 조건을 만족시키는 가운데, OPA들(221, 231)이 서로 이격된 거리가 최대화되도록 하는 구조를 갖는다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 4를 참조하면, 일 실시예에 따른 카메라 시스템(400)은 단일 렌즈(410) 및 단일 렌즈(410) 아래 위치하는 이미지 센서(420)를 포함한다. 여기서, 이미지 센서(420)는 적어도 하나의 픽셀 어레이(421, 422)로 구성되며, 적어도 하나의 픽셀 어레이(421, 422) 각각은 2차원 배열의 복수의 픽셀들(예컨대,
Figure 112020081158616-pat00023
배열의 4개의 픽셀들) 및 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(421-1, 422-1)를 포함한다.
이러한 구조의 일 실시예에 따른 카메라 시스템(400)은, 전술된 바와 같이 픽셀들에 OPA들을 적용함으로써, 단일 렌즈(410)에 DA가 적용된 경우와 유사하게 픽셀들을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있으며, 단일 렌즈(410)에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있다. 이 때, 깊이 산출 동작은 카메라 시스템(400)에 더 포함되는 적어도 하나의 프로세서(도면에는 도시되지 않음)에서 수행될 수 있다.
또한, 일 실시예에 따른 카메라 시스템(400)은 복수의 픽셀들이 단일 마이크로 렌즈(421-1, 422-1)를 공유하도록 함으로써, 복수의 픽셀들 각각에 마이크로 렌즈가 구비되는 경우보다 베이스라인을 증가시킬 수 있으며, 특히, OPA들이 서로 이격된 거리를 최대화하여 픽셀들 상에 형성 및 배치함으로써, 베이스라인을 더욱 증가시킬 수 있다. 따라서, 카메라 시스템(400)은 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시킬 수 있다.
이와 같은 일 실시예에 따른 카메라 시스템(400)의 적어도 하나의 픽셀 어레이(421, 422)에 대한 세부 구조는 아래에서 기재하기로 한다.
도 5는 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이고, 도 6는 도 5에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이와 등가의 렌즈 애퍼처를 나타낸 도면이다. 여기서, 도 5는 모노 이미지 센서에 대한 일 예시도를 나타낸 것이다.
도 5를 참조하면, 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이(500)는 도 4에 도시된 하나의 픽셀 어레이(421)를 나타낸다. 이하, 픽셀 어레이(500)는 단일 마이크로 렌즈(500-1)를 공유하는
Figure 112020081158616-pat00024
배열의 복수의 픽셀들(511, 512, 513, 514)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112020081158616-pat00025
배열 또는
Figure 112020081158616-pat00026
배열 등 다양한 2차원 배열의 복수의 픽셀들을 포함할 수 있다.
픽셀 어레이(500)의 복수의 픽셀들(511, 512, 513, 514) 각각의 상부에는 OPA(521, 531, 541, 551)를 형성하기 위한 차광막(520, 530, 540, 550)이 배치되며, 특히, OPA들(521, 531, 541, 551)은 서로 이격된 거리가 최대화되도록 차광막들(520, 530, 540, 550)을 이용하여 각각 형성된다. 예를 들어, 제1 픽셀(511)의 OPA(521) 및 제2 픽셀(512)의 OPA(531)는, 서로 이격된 거리가 최대화되도록 대각 방향으로 각각의 차광막(520, 530) 을 이용하여 도면과 같이 좌측 끝 및 우측 끝에 형성됨으로써, 수평적 시차를 획득하기 위한 수평 OPA들을 의미할 수 있고, 제3 픽셀(513)의 OPA(541) 및 제4 픽셀(514)의 OPA(551)는, 서로 이격된 거리가 최대화되도록 대각 방향으로 각각의 차광막(540, 550)을 이용하여 도면과 같이 상측 끝 및 하측 끝에 형성됨으로써, 수직적 시차를 획득하기 위한 수직 OPA들을 의미할 수 있다.
또한, 각각의 픽셀들(511, 512, 513, 514)은 카메라 시스템의 베이스라인을 증가시키기 위하여, OPA들(521, 531, 541, 551)이 서로 이격되는 거리가 최대화되도록 픽셀 어레이(500) 상에 배치될 수 있다. 예를 들어, 수평 OPA들(521, 531)이 서로 이격된 거리가 최대화되도록 픽셀 어레이(500) 상에서 대각 방향으로 위치하는 픽셀들(511, 512) 상에 차광막들(520, 530)을 이용하여 형성할 수 있으며, 수직 OPA들(541, 551)이 서로 이격된 거리가 최대화되도록 픽셀 어레이(500) 상에서 대각 방향으로 위치하는 픽셀들(513, 514) 상에 차광막들(520, 530)을 이용하여 형성할 수 있고, 이에 따라, 수평 OPA들(521, 531) 및 수직 OPA들(541, 551)은, 서로 이격된 거리가 최대화되도록 픽셀 어레이(500)에서 대각 방향으로 배치될 수 있다.
이와 같이 수평 OPA들(521, 531)과 수직 OPA들(541, 551)이 적용된 픽셀 어레이(500)를 포함하는 카메라 시스템은, 도 6에 도시된 등가의 렌즈 애퍼처(610)와 동일하게 치부됨으로써, 증가된 베이스라인을 갖게 될 수 있다.
이처럼 복수의 픽셀들(511, 512, 513, 514)에서 OPA들(521, 531, 541, 551)이 차광막들(520, 530, 540, 550)을 이용하여 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, 수평 OPA들(521, 531)이 서로 이격된 거리와 수평 OPA들(521, 531)이 적용되는 적어도 두 개의 픽셀들(511, 512) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112020081158616-pat00027
) 그리고 수직 OPA들(541, 551)이 서로 이격된 거리와 수직 OPA들(541, 551)이 적용되는 적어도 두 개의 픽셀들(513, 514) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112020081158616-pat00028
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, 수평 OPA들(521, 531)이 서로 이격된 거리와 수직 OPA들(541, 551)이 서로 이격된 거리가 최대화되도록 복수의 픽셀들(511, 512, 513, 514)에서 OPA들(521, 531, 541, 551)이 차광막들(520, 530, 540, 550)을 이용하여 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들이 서로 이격된 거리 즉, 수평 OPA들(521, 531)이 서로 이격된 거리와 수직 OPA들(541, 551)이 서로 이격된 거리가 증가하더라도 OPA들(521, 531, 541, 551)이 적용되는 픽셀들(511, 512, 513, 514) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 일 실시예에 따른 카메라 시스템은 픽셀들(511, 512, 513, 514)을 수평 OPA들(521, 531)과 수직 OPA들(541, 551)이 서로 이격되는 거리가 최대화되도록 픽셀 어레이(500) 상에 배치하고, 서로 이격된 거리가 최대화되도록 차광막들(520, 530, 540, 550)을 이용하여 OPA들(521, 531, 541, 551)을 각각 형성하는 동시에, OPA들(521, 531, 541, 551)이 적용되는 픽셀들(511, 512, 513, 514) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(521, 531, 541, 551)은 픽셀들(511, 512, 513, 514) 각각을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(520, 530, 540, 550)을 이용하여 각각 형성될 수 있다. 예컨대, 제1 OPA(521)는 제1 픽셀(511)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(531)는 제2 픽셀(512)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(521)와 제2 OPA(531)는 서로 어긋난 중심 위치를 갖는 수평 OPA들을 형성할 수 있고, 제3 OPA(541)는 제3 픽셀(513)의 중심을 기준으로 상측으로 어긋난 중심 위치를 갖고, 제4 OPA(551)는 제4 픽셀(514)의 중심을 기준으로 하측으로 어긋난 중심 위치를 가짐으로써, 제3 OPA(541)와 제4 OPA(551)는 서로 어긋난 중심 위치를 갖는 수직 OPA들을 형성할 수 있다. 이에, 제1 픽셀(511)과 제2 픽셀(512)을 통해 획득되는 이미지들 사이와 제3 픽셀(513)과 제4 픽셀(514)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다. 즉, 카메라 시스템은 수평 OPA들(521, 531)이 형성된 제1 픽셀(511)과 제2 픽셀(512)을 통해 획득된 두 개의 이미지들 사이의 수평적 시차와 수직 OPA들(541, 551)이 형성된 제3 픽셀(513)과 제4 픽셀(514)을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출할 수 있다.
이상 설명된 구조의 픽셀 어레이(500)를 적어도 하나 이상 포함하는 이미지 센서 및 단일 렌즈로 구성되는 카메라 시스템은, 수평 OPA들과 수직 OPA들(521, 531, 541, 551)이 적용된 픽셀들(511, 512, 513, 514)을 통해 획득되는 이미지들 사이의 수평적 시차와 수직적 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있고, 단일 렌즈에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있으며, 복수의 픽셀들(511, 512, 513, 514)이 단일 마이크로 렌즈를 공유하도록 하고 OPA들(521, 531, 541, 551)이 서로 이격된 거리를 최대화하여 OPA들(521, 531, 541, 551)을 픽셀들(511, 512, 513, 514) 상에 형성 및 배치함으로써, 베이스라인을 증가시킬 수 있다. 또한, 모노 이미지 센서를 구성하는 카메라 시스템은, 픽셀 어레이들 각각에 수평 OPA들과 수직 OPA들을 형성함으로써, 픽셀 어레이들 각각에서, 수평적 시차와 수직적 시차를 획득하고, 이를 통해 피사체에 대한 깊이의 범위를 향상시킬 수 있다.
도 7은 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면으로, 컬러 이미지 센서 예를 들어, RGGB의 픽셀들을 포함하는 픽셀 어레이들을 설명하기 위한 도면이다.
도 7을 참조하면, 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 제1 픽셀 어레이(710)와 제2 픽셀 어레이(720)는 도 4에 도시된 하나의 픽셀 어레이(421, 422)를 나타낸다. 이하, 제1 픽셀 어레이(710)는 단일 마이크로 렌즈를 공유하는
Figure 112020081158616-pat00029
배열의 복수의 픽셀들(711, 712, 713, 714)을 포함하고, 제2 픽셀 어레이(720)는 단일 마이크로 렌즈를 공유하는
Figure 112020081158616-pat00030
배열의 복수의 픽셀들(721, 722, 723, 724)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112020081158616-pat00031
배열 또는
Figure 112020081158616-pat00032
배열 등 다양한 2차원 배열의 복수의 픽셀들을 포함할 수 있다.
제1 픽셀 어레이의 RGGB 픽셀들(711, 712, 713, 714) 중 두 개의 G 픽셀들(712, 713) 각각의 상부에는 수평 OPA들(731, 741)을 형성하기 위한 차광막(730, 740)이 배치되고, 제2 픽셀 어레이의 RGGB 픽셀들(721, 722, 723, 724) 중 두 개의 G 픽셀들(722, 723) 각각의 상부에는 수직 OPA들(751, 761)을 형성하기 위한 차광막(750, 760)이 배치된다. 특히, 수평 OPA들(731, 741)과 수직 OPA들(751, 761) 각각은 서로 이격된 거리가 최대화되도록 차광막들(730, 740, 750, 760)을 이용하여 각각 형성된다. 예를 들어, 제1 픽셀 어레이(710)에서 제1 G 픽셀(712)의 OPA(731) 및 제2 G 픽셀(713)의 OPA(741)는, 서로 이격된 거리가 최대화되도록 대각 방향으로 각각의 차광막(730, 740)을 이용하여 도면과 같이 우측 끝 및 좌측 끝에 형성될 수 있고, 제2 픽셀 어레이(720)에서 제1 G 픽셀(722)의 OPA(751) 및 제2 G 픽셀(723)의 OPA(761)는, 서로 이격된 거리가 최대화되도록 대각 방향으로 각각의 차광막(750, 760)을 이용하여 도면과 같이 상측 끝 및 하측 끝에 형성될 수 있다.
즉, 제1 픽셀 어레이(710)에서는 두 개의 G 픽셀 상에 형성되는 수평 OPA들(731, 741)을 이용하여 수평적 시차를 획득하기 위한 두 개의 이미지들을 획득하고, 제2 픽셀 어레이(720)에서는 두 개의 G 픽셀 상에 형성되는 수직 OPA들(751, 761)을 이용하여 수직적 시차를 획득하기 위한 두 개의 이미지들을 획득함으로써, 이렇게 획득된 수평적 시차와 수직적 시차를 이용하여 피사체에 대한 깊이를 산출할 수 있다. 이에 따라, 수평적 시차 또는 수직적 시차 중 어느 하나의 시차만을 이용하여 깊이를 산출하는데 있어서 그 정확성이 떨어지거나 깊이의 범위가 떨어지는 경우 본 발명과 같이 수평적 시차와 수직적 시차를 이용하여 깊이를 산출함으로써, 산출되는 깊이의 정확성 또는 깊이의 범위를 향상시킬 수 있다. 물론, 다른 일 실시예에 따른 카메라 시스템은 제1 픽셀 어레이(710)와 제2 픽셀 어레이(720)가 수평적과 수직적으로 어레이 형태로 배열될 수 있다.
이와 같이, 도 7의 구조의 픽셀 어레이(700)를 적어도 하나 이상 포함하는 이미지 센서 및 단일 렌즈로 구성되는 카메라 시스템은, 수평 OPA들(731, 741)이 적용된 픽셀들과 수직 OPA들(751, 761)이 적용된 픽셀들을 통해 획득되는 이미지들 사이의 수평적 시차와 수직적 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있고, 단일 렌즈에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있다.
비록, 도 7에서 컬러 이미지 센서를 RGGB의 픽셀들을 포함하는 픽셀 어레이들로 설명하였지만, 컬러 이미지 센서가 RGGB의 픽셀들을 포함하는 픽셀 어레이들로 한정되거나 제한되지 않으며, 픽셀 어레이에 동일한 컬러 픽셀을 두 개 이상 포함하는 컬리 이미지 센서에 모두 적용될 수 있다.
여기서, 또 다른 카메라 시스템은 상술한 내용으로 한정되거나 제한되지 않으며, 상기 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있다.
본 발명의 실시예들에 따른 디스플레이 시스템은, 상술한 OPA 구조를 가지는 깊이 정보 촬영 장치를 이용하여 하나의 장면 예를 들어, 피사체에 대한 깊이 정보를 획득하고, 별도의 컬러 정보 촬영 장치와 열화상 정보 촬영 장치(예를 들어, IR 촬영 장치)를 이용하여 피사체에 대한 컬러 정보와 열화상 정보를 획득하며, 이렇게 획득된 깊이 정보, 컬러 정보와 열화상 정보를 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이할 수 있는 시스템으로, 이에 대해 도 8 내지 도 10을 이용하여 상세히 설명하면 다음과 같다.
도 8은 일 실시예에 따른 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 디스플레이 시스템을 설명하기 위한 도면으로, 깊이 정보 촬영 장치, 컬러 정보 촬영 장치, 열화상 정보 촬영 장치, 영상 처리부 및 디스플레이 장치를 포함한다.
여기서, 깊이 정보 촬영 장치는 도 1 내지 도 7에서 설명한 OPA 구조를 갖는 이미지 센서를 포함하는 촬영 장치를 의미할 수 있고, 컬러 정보 촬영 장치는 컬러 정보를 획득하기 위한 픽셀 구조의 이미지 센서를 포함하는 촬영 장치를 의미할 수 있으며, 열화상 정보 촬영 장치는 열화상 정보를 획득하기 위한 촬영 장치로, IR 촬영 장치를 포함할 수 있다.
도 8을 참조하면, 일 실시예에 따른 디스플레이 시스템(800)은 도 1 내지 도 7의 OPA 구조의 이미지 센서를 포함하는 깊이 정보 촬영 장치(810)에서 피사체 예를 들어, 하나의 장면에 대한 깊이 이미지를 획득하기 위한 영상 데이터 즉, 깊이 정보를 획득하고, 컬러 정보 촬영 장치(820)에서 피사체에 대한 컬러 이미지를 획득하기 위한 영상 데이터 즉, 컬러 정보를 획득하며, 열화상 정보 촬영 장치(830)에서 피사체에 대한 열화상 이미지를 획득하기 위한 영상 데이터 즉, 열화상 정보를 획득한다.
여기서, 깊이 정보 촬영 장치(810)와 컬러 정보 촬영 장치(820)는 하나의 카메라 시스템에 결합된 구조로 배치될 수도 있고, 별도의 구조로 배치될 수도 있다.
즉, 일 실시예에 따른 디스플레이 시스템은 깊이 정보 촬영 장치(810)와 컬러 정보 촬영 장치(820)를 하나의 촬영 장치로 결합하여, 하나의 촬영 장치로부터 피사체에 대한 깊이 정보와 컬러 정보를 획득할 수도 있고, 별도의 촬영 장치를 이용하여 각각의 촬영 장치로부터 피사체에 대한 깊이 정보와 컬러 정보를 획득할 수도 있다. 물론, 깊이 정보 촬영 장치(810)가 도 5에 도시된 바와 같이, 모노 이미지 센서를 포함하는 촬영 장치인 경우에는 깊이 정보 촬영 장치(810)와 컬러 정보 촬영 장치(820)를 별도로 구비하여야 하며, 도 7에 도시된 바와 같이, 컬러 이미지 센서를 포함하는 촬영 장치인 경우에는 깊이 정보 촬영 장치(810)와 컬러 정보 촬영 장치(820)를 하나의 촬영 장치로 결합하여 피사체에 대한 깊이 정보와 컬러 정보를 동시에 획득할 수도 있다.
영상 처리부(840)는 적어도 하나의 프로세서를 포함하며, 피사체에 대한 깊이 정보로부터 피사체의 깊이 이미지를 획득하고, 피사체에 대한 컬러 정보로부터 피사체의 컬러 이미지를 획득하며, 피사체에 대한 열화상 정보로부터 피사체의 열화상 이미지를 획득하고, 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어한다.
이 때, 영상 처리부(840)는 도 5에 도시된 모노 이미지 센서를 포함하는 촬영 장치로부터 깊이 정보가 수신되는 경우 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차와 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 깊이 이미지를 획득할 수 있다.
나아가, 영상 처리부(840)는 도 9에 도시된 바와 같이, 하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 분할된 서브화면들 중 서로 다른 서브화면에 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이할 수 있다. 예를 들어, 영상 처리부(840)는 디스플레이 장치의 화면을 4개의 서브화면들로 분할하고, 제1 분할 화면에 깊이 이미지를 디스플레이하며, 제2 분할 화면에 컬러 이미지를 디스플레이하고, 제3 분할 화면에 열화상 이미지를 디스플레이할 수 있다. 나아가, 영상 처리부(840)는 깊이 이미지가 모노 이미지 센서를 포함하는 촬영 장치로부터 획득된 깊이 정보로부터 모노 깊이 이미지가 획득되는 경우, 제4 분할 화면에 깊이 이미지와 컬러 이미지를 오버랩핑(overlapping)하거나 깊이 이미지와 열화상 이미지를 오버랭핑하여 디스플레이할 수도 있다.
더 나아가, 영상 처리부(840)는 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 디스플레이 장치로 동시에 디스플레이되도록 제어할 수 있다.
이러한 영상 처리부(840)는 세 개의 이미지가 서로 얼라인먼트되기 때문에 어느 하나의 이미지에 대한 위치 정보와 나머지 이미지에 대한 위치 정보가 서로 대응되고, 따라서 어느 하나의 이미지의 특정 부분이 선택 예를 들어, 클릭되면, 선택된 특정 부분에 대하여 나머지 이미지에서 해당 부분이 디스플레이되도록 디스플레잊 장치를 제어할 수도 있다. 일 예로, 제1 분할 화면에 디스플레이된 깊이 이미지의 제1 지점을 사용자가 입력 장치 예를 들어, 키보드 또는 마우스 등을 이용하여 클릭하게 되면, 제2 분할 화면과 제3 분할 화면에 디스플리에된 컬러 이미지와 열화상 이미지에 제1 지점에 대응하는 위치가 표시되도록 디스플레이를 제어할 수 있다.
비록, 도 9에서 각각의 분할 화면에 미리 설정된 이미지가 디스플레이되도록 되어 있지만, 분할 화면에 디스플레이되는 이미지는 상황에 따라 달라지거나 특정 기능 항목의 실행에 의해 달라질 수도 있다. 예를 들어, 제1 분할 화면이 메인 화면으로 설정되어 있는 경우 사용자에 의해 제3 분할 화면에 디스플레이된 열화상 이미지를 메인 화면으로 설정하게 되면 열화상 이미지를 제1 분할 화면으로 이동시켜 디스플레이하고, 제1 분할 화면에 디스플레이된 깊이 이미지를 제3 분할 화면으로 자동 이동시켜 디스플레이할 수 있다. 즉, 일 실시예에 따른 디스플레이 시스템은 이미지 간의 스위칭 기능을 수행할 수도 있다.
또한, 영상 처리부(840)는 하나의 디스플레이 장치에 복수의 이미지들을 디스플레이하도록 제어하는 것으로 제한되거나 한정되지 않으며, 도 10에 도시된 바와 같이, 복수의 디스플레이 장치들 각각에 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지가 각각 디스플레이되도록 제어할 수도 있다. 예를 들어, 영상 처리부(840)는 제1 디스플레이 장치에 깊이 이미지를 디스플레이하도록 제어하고, 제2 디스플레이 장치에 컬러 이미지를 디스플레이하도록 제어하며, 제3 디스플레이 장치에 열화상 이미지를 디스플레이하도록 제어할 수 있다. 물론, 영상 처리부(840)는 제4 디스플레이 장치가 있는 경우, 제4 디스플레이 장치를 도 9와 같은 분할 화면을 통해 세 개의 이미지를 동시에 디스플레이하도록 제어할 수도 있고, 도 9의 제4 분할 화면에 디스플레이된 것과 같은 깊이 이미지와 컬러 이미지를 오버랩핑하거나 깊이 이미지와 열화상 이미지를 오버랩핑하여 디스플레이하도록 제어할 수도 있다. 여기서, 도 10의 디스플레이 장치 각각에 대하여, 도 9에서 설명한 다양한 기능들이 영상 처리부(840)에 의해 제어될 수 있다.
더 나아가, 영상 처리부(840)는 깊이 이미지와 컬러 이미지가 오버랩핑되는 경우 오버랩핑된 이미지를 이용하여 피사체 예를 들어, 사람의 얼굴 인식을 정확하게 할 수 있다.
더 나아가, 영상 처리부(840)는 피사체에 대한 깊이 이미지와 열화상 이미지가 오버랩핑되고, 피사체에 여러 사람들이 있는 경우, 사람들 각각에 대한 온도의 3차원 분포를 획득할 수도 있으며, 사람들 각각에 대하여 온도 프로파일을 생성하거나 열상 모델을 생성할 수도 있다. 예컨대, 다른 일 실시예에 따른 디스플레이 시스템(800)은 피사체에 포함된 사람들 각각의 깊이 정보와 열화상 정보를 이용하여 사람들 각각에 대한 3차원 온도 프로파일을 생성하거나 열화상 분포 또는 열상 모델을 생성할 수 있다.
일 측면에 따르면, 상기 제어하는 단계는 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 상기 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 상기 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
다른 일 측면에 따르면, 상기 제어하는 단계는 하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 상기 분할된 서브화면들 중 서로 다른 서브화면에 상기 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 제어하는 단계는 상기 깊이 정보가 모노 이미지 센서에 의해 획득되는 경우, 상기 어느 하나의 서브화면에 상기 깊이 이미지와 컬러 이미지 또는 상기 깊이 이미지와 상기 열화상 이미지를 오버랩핑(overlapping)하여 디스플레이하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 제어하는 단계는 상기 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이된 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지에 대하여, 특정 부분이 선택되면 상기 선택된 특정 부분을 인식하여 나머지 이미지에 상기 특정 부분에 대응하는 지점이 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
상기 제어하는 단계는 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 각각을 각각의 디스플레이 장치에 동시에 디스플레이되도록 제어하는, 것을 특징으로 할 수 있다.
또 다른 일 측면에 따르면, 상기 깊이 정보를 획득하는 단계는 모노 이미지 센서를 포함하는 모노 촬영 장치로부터 상기 피사체에 대한 깊이 정보를 획득하고, 상기 모노 촬영 장치는 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들을 포함함-로 구성되는 이미지 센서를 포함하며, 상기 복수의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)를 형성하기 위한 차광막이 배치되고, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 각각에 의해 형성되고, 수평 방향의 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직 방향의 시차를 획득하기 위한 한 쌍의 수직 OPA들을 포함하며, 상기 제어하는 단계는 상기 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차(Disparity)와 상기 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 상기 깊이 이미지를 획득하는, 것을 특징으로 할 수 있다.
이러한 디스플레이 방법은 도 1 내지 도 10에서 설명한 모든 내용을 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 피사체에 대한 깊이 정보를 획득하기 위한 제1 촬영 장치;
    상기 피사체에 대한 컬러 정보를 획득하기 위한 제2 촬영 장치;
    상기 피사체에 대한 열화상 정보를 획득하기 위한 제3 촬영 장치; 및
    상기 피사체에 대한 깊이 정보로부터 깊이 이미지를 획득하고, 상기 피사체에 대한 컬러 정보로부터 컬러 이미지를 획득하며, 상기 피사체에 대한 열화상 정보로부터 열화상 이미지를 획득하고, 상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는 영상 처리부
    를 포함하며,
    상기 제1 촬영 장치는,
    단일 렌즈; 및
    적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들을 포함함-로 구성되는 이미지 센서
    를 포함하고,
    상기 복수의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)를 형성하기 위한 차광막이 배치되며,
    상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 각각에 의해 형성되고, 수평 방향의 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직 방향의 시차를 획득하기 위한 한 쌍의 수직 OPA들을 포함하고,
    상기 영상 처리부는
    상기 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차(Disparity)와 상기 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 상기 깊이 이미지를 획득하며,
    상기 수평 OPA들 각각은
    상기 복수의 픽셀들 중 대각 방향에 위치한 제1 픽셀과 제2 픽셀 각각의 상부에 형성되고,
    상기 수직 OPA들 각각은,
    상기 복수의 픽셀들 중 대각 방향에 위치한 제3 픽셀과 제4 픽셀 각각의 상부에 형성되는 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부는
    상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 상기 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 상기 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이하는, 것을 특징으로 하는 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 영상 처리부는
    하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 상기 분할된 서브화면들 중 서로 다른 서브화면에 상기 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이하는, 것을 특징으로 하는 디스플레이 시스템.
  4. 제3항에 있어서,
    상기 영상 처리부는
    상기 제1 촬영 장치가 모노 이미지 센서를 포함하는 촬영 장치인 경우, 상기 어느 하나의 서브화면에 상기 깊이 이미지와 컬러 이미지 또는 상기 깊이 이미지와 상기 열화상 이미지를 오버랩핑(overlapping)하여 디스플레이하는, 것을 특징으로 하는 디스플레이 시스템.
  5. 제2항에 있어서,
    상기 영상 처리부는
    상기 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이된 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지에 대하여, 특정 부분이 선택되면 상기 선택된 특정 부분을 인식하여 나머지 이미지에 상기 특정 부분에 대응하는 지점이 디스플레이되도록 제어하는, 것을 특징으로 하는 디스플레이 시스템.
  6. 제2항에 있어서,
    상기 영상 처리부는
    상기 깊이 이미지, 컬러 이미지와 열화상 이미지 각각을 각각의 디스플레이 장치에 동시에 디스플레이되도록 제어하는, 것을 특징으로 하는 디스플레이 시스템.
  7. 삭제
  8. 삭제
  9. 피사체에 대한 깊이 정보를 획득하는 단계;
    상기 피사체에 대한 컬러 정보를 획득하는 단계;
    상기 피사체에 대한 열화상 정보를 획득하는 단계;
    상기 피사체에 대한 깊이 정보로부터 깊이 이미지를 획득하고, 상기 피사체에 대한 컬러 정보로부터 컬러 이미지를 획득하며, 상기 피사체에 대한 열화상 정보로부터 열화상 이미지를 획득하는 단계; 및
    상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는 단계
    를 포함하며,
    상기 깊이 정보를 획득하는 단계는
    모노 이미지 센서를 포함하는 모노 촬영 장치로부터 상기 피사체에 대한 깊이 정보를 획득하고,
    상기 모노 촬영 장치는
    단일 렌즈; 및
    적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들을 포함함-로 구성되는 이미지 센서
    를 포함하며,
    상기 복수의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)를 형성하기 위한 차광막이 배치되고,
    상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 각각에 의해 형성되고, 수평 방향의 시차를 획득하기 위한 한 쌍의 수평 OPA들과 수직 방향의 시차를 획득하기 위한 한 쌍의 수직 OPA들을 포함하며,
    상기 제어하는 단계는
    상기 수평 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수평적 시차(Disparity)와 상기 수직 OPA들이 형성된 두 개의 픽셀들을 통해 획득된 두 개의 이미지들 사이의 수직적 시차를 이용하여 피사체에 대한 깊이를 산출함으로써, 상기 깊이 이미지를 획득하며,
    상기 수평 OPA들 각각은
    상기 복수의 픽셀들 중 대각 방향에 위치한 제1 픽셀과 제2 픽셀 각각의 상부에 형성되고,
    상기 수직 OPA들 각각은,
    상기 복수의 픽셀들 중 대각 방향에 위치한 제3 픽셀과 제4 픽셀 각각의 상부에 형성되는 디스플레이 방법.
  10. 제9항에 있어서,
    상기 제어하는 단계는
    상기 획득된 깊이 이미지, 컬러 이미지와 열화상 이미지를 서로 얼라인먼트하고, 상기 얼라인먼트된 깊이 이미지, 컬러 이미지와 열화상 이미지 중 적어도 두 개 이상의 이미지를 상기 적어도 하나 이상의 디스플레이 장치로 동시에 디스플레이되도록 제어하는, 것을 특징으로 하는 디스플레이 방법.
  11. 제10항에 있어서,
    상기 제어하는 단계는
    하나의 디스플레이 장치에 대한 화면을 복수개 서브화면들로 분할하고, 상기 분할된 서브화면들 중 서로 다른 서브화면에 상기 깊이 이미지, 컬러 이미지와 열화상 이미지를 각각 디스플레이하는, 것을 특징으로 하는 디스플레이 방법.
  12. 제11항에 있어서,
    상기 제어하는 단계는
    상기 깊이 정보가 모노 이미지 센서에 의해 획득되는 경우, 상기 어느 하나의 서브화면에 상기 깊이 이미지와 컬러 이미지 또는 상기 깊이 이미지와 상기 열화상 이미지를 오버랩핑(overlapping)하여 디스플레이하는, 것을 특징으로 하는 디스플레이 방법.
  13. 제10항에 있어서,
    상기 제어하는 단계는
    상기 적어도 하나 이상의 디스플레이 장치에 동시에 디스플레이된 상기 깊이 이미지, 컬러 이미지와 열화상 이미지 중 어느 하나의 이미지에 대하여, 특정 부분이 선택되면 상기 선택된 특정 부분을 인식하여 나머지 이미지에 상기 특정 부분에 대응하는 지점이 디스플레이되도록 제어하는, 것을 특징으로 하는 디스플레이 방법.
  14. 제10항에 있어서,
    상기 제어하는 단계는
    상기 깊이 이미지, 컬러 이미지와 열화상 이미지 각각을 각각의 디스플레이 장치에 동시에 디스플레이되도록 제어하는, 것을 특징으로 하는 디스플레이 방법.
  15. 삭제
KR1020200096630A 2020-08-03 2020-08-03 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법 KR102309976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200096630A KR102309976B1 (ko) 2020-08-03 2020-08-03 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200096630A KR102309976B1 (ko) 2020-08-03 2020-08-03 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102309976B1 true KR102309976B1 (ko) 2021-10-08

Family

ID=78115706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200096630A KR102309976B1 (ko) 2020-08-03 2020-08-03 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102309976B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011854A (ko) * 2015-07-24 2017-02-02 주식회사 테라클 디스플레이 장치 및 디스플레이 장치의 영상 구현 방법
KR20170100229A (ko) * 2016-02-25 2017-09-04 (주)앤미디어 다시점 영상 디스플레이 시스템
KR20190063671A (ko) * 2017-11-30 2019-06-10 (주)코어센스 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
KR102018984B1 (ko) * 2018-05-15 2019-09-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 베이스라인을 증가시키기 위한 카메라 시스템
KR20200028082A (ko) * 2018-09-06 2020-03-16 송지우 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011854A (ko) * 2015-07-24 2017-02-02 주식회사 테라클 디스플레이 장치 및 디스플레이 장치의 영상 구현 방법
KR20170100229A (ko) * 2016-02-25 2017-09-04 (주)앤미디어 다시점 영상 디스플레이 시스템
KR20190063671A (ko) * 2017-11-30 2019-06-10 (주)코어센스 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
KR102018984B1 (ko) * 2018-05-15 2019-09-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 베이스라인을 증가시키기 위한 카메라 시스템
KR20200028082A (ko) * 2018-09-06 2020-03-16 송지우 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Similar Documents

Publication Publication Date Title
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US9736451B1 (en) Efficient dense stereo computation
US9270902B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium for obtaining information on focus control of a subject
EP2988497B1 (en) Image processing method and apparatus
KR101670927B1 (ko) 디스플레이 장치 및 방법
EP3595285A1 (en) Photography processing method and device for camera module, and terminal apparatus
JP2015504641A (ja) サブピクセルをレンダリングする映像処理装置及び方法
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
US10990062B2 (en) Display system
JP2008085503A (ja) 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
KR102025012B1 (ko) 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
KR20180057294A (ko) 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US9552063B2 (en) Electronic device including transparent display and method of controlling the electronic device
JP6717576B2 (ja) 映像レンダリング装置及び方法
KR102018984B1 (ko) 베이스라인을 증가시키기 위한 카메라 시스템
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR102309976B1 (ko) 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법
US20140168394A1 (en) Image processing device, stereoscopic image display, and image processing method
KR102650332B1 (ko) 3차원 영상을 표시하는 장치 및 방법
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
KR20170041490A (ko) 3차원 영상을 표시하는 장치 및 방법
US10008030B2 (en) Method and apparatus for generating images
KR20200039527A (ko) 디스플레이 패널, 이를 이용한 3차원 디스플레이 장치 및 3차원 hud 장치
KR20220016574A (ko) 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant