KR20130124898A - 시차 검출 장치 및 시차 검출 방법 - Google Patents

시차 검출 장치 및 시차 검출 방법 Download PDF

Info

Publication number
KR20130124898A
KR20130124898A KR1020130050106A KR20130050106A KR20130124898A KR 20130124898 A KR20130124898 A KR 20130124898A KR 1020130050106 A KR1020130050106 A KR 1020130050106A KR 20130050106 A KR20130050106 A KR 20130050106A KR 20130124898 A KR20130124898 A KR 20130124898A
Authority
KR
South Korea
Prior art keywords
signal
unit
image signal
image
parallax
Prior art date
Application number
KR1020130050106A
Other languages
English (en)
Inventor
타케루 스즈끼
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of KR20130124898A publication Critical patent/KR20130124898A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

촬상 화상의 화질 저하를 억제하면서 저가로 스테레오 카메라 시스템을 구축하는 것이 가능한 시차 검출 장치 및 시차 검출 방법을 제공한다. 제1 화상 신호와 제1 화상 신호보다 저화소수의 화상 신호인 제2 화상 신호를 취득하는 화상 취득부와, 제1 화상 신호로부터 휘도 신호를 추출하는 휘도 신호 추출부와, 제2 화상 신호와 휘도 신호 사이의 시차를 검출하는 시차 검출부와, 제1 화상 신호를 출력하는 화상 출력부를 포함하는 시차 검출 장치가 제공된다.

Description

시차 검출 장치 및 시차 검출 방법{Apparatus and method of detecting parallax}
본 발명은 시차 검출 장치 및 시차 검출 방법에 관한 것이다.
종래 스테레오 카메라 시스템에 관한 여러 가지 기술이 개시되어 있다(예를 들면, 특허문헌 1 참조). 이러한 스테레오 카메라 시스템에 따르면, 예를 들어 복수의 카메라 각각에 의해 얻어진 촬상 화상에 기초하여 촬상 화상에 비치는 대상물까지의 깊이에 관한 정보를 취득하는 것이 가능하다. 스테레오 카메라 시스템에서는, 동일 스펙을 갖는 복수대의 카메라가 사용될 수 있다.
예를 들면, 동일 스펙을 갖는 복수대의 카메라가 사용되는 스테레오 카메라 시스템으로는, VGA(Video Graphics Array)와 같은 저화소의 센서 카메라를 2대 사용한 스테레오 카메라 시스템이 존재한다. 또한, 예를 들면 3Mpixel 이상의 고화소의 센서 카메라를 2대 사용한 스테레오 카메라 시스템이 존재한다.
일본특개 2005-250994호 공보
그러나, 예를 들면 VGA와 같은 저화소의 센서 카메라를 2대 사용한 스테레오 카메라 시스템의 경우, 스테레오 카메라 시스템은 저가로 제작될 수 있지만, 해당 센서 카메라 각각에 의해 촬상된 화상은 모두 화질이 낮게 억제되고 정보량도 작게 억제되어 버린다.
한편, 3Mpixel 이상과 같은 고화소의 센서 카메라를 2대 사용한 스테레오 카메라의 경우, 해당 2대의 센서 카메라 각각에 의해 촬상된 화상은 모두 화질이 높고 정보량도 크지만, 해당 스테레오 카메라는 시스템 규모가 커지고 비용도 높아 소비전력도 커진다.
그래서, 촬상 화상의 화질 저하를 억제하면서 저가로 스테레오 카메라 시스템을 구축하는 것이 가능한 기술을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 제1 화상 신호와 상기 제1 화상 신호보다 저화소수의 화상 신호인 제2 화상 신호를 취득하는 화상 취득부와, 상기 제1 화상 신호로부터 휘도 신호를 추출하는 휘도 신호 추출부와, 상기 제2 화상 신호와 상기 휘도 신호 사이의 시차를 검출하는 시차 검출부와, 상기 제1 화상 신호를 출력하는 화상 출력부를 포함하는 시차 검출 장치가 제공된다.
이러한 구성에 따르면, 보다 고화소수의 화상 신호인 제1 화상 신호가 출력되기 때문에 화질 저하를 억제하는 것이 가능하다. 또한, 이러한 구성에 따르면, 보다 저화소수의 화상 신호인 제2 화상 신호를 시차 검출에 사용할 수 있기 때문에, 센서의 비용을 저하시키고 저가로 스테레오 카메라 시스템을 구축하는 것이 가능하다.
상기 시차 검출 장치는, 상기 제2 화상 신호와 상기 휘도 신호의 사이에서 화소수의 조정을 행하는 화소수 조정부를 더 포함해도 된다. 이러한 구성에 따르면, 제2 화상 신호와 휘도 신호의 사이에서 화소수가 다른 경우에도 제2 화상 신호의 화소수와 휘도 신호의 화소수의 차이를 작게 한 후에 시차 검출을 행하는 것이 가능하다.
상기 시차 검출 장치는, 상기 제2 화상 신호와 상기 휘도 신호의 사이에서 주파수 특성의 조정을 행하는 주파수 특성 조정부를 더 포함해도 된다. 이러한 구성에 따르면, 제2 화상 신호와 휘도 신호의 사이에서 주파수 특성이 다른 경우에도 제2 화상 신호의 주파수 특성과 휘도 신호의 주파수 특성의 차이를 작게 한 후에 시차 검출을 행하는 것이 가능하다.
상기 제1 화상 신호는 컬러 센서에 의해 검출된 화상 신호이고, 상기 제2 화상 신호는 모노크롬(monochrome) 센서에 의해 검출된 화상 신호이어도 된다. 이러한 구성에 따르면, 컬러 센서가 사용되기 때문에 사용자의 열람에 제공되는 화상 신호를 컬러 신호로 할 수 있음과 동시에, 모노크롬 센서가 사용되기 때문에 센서의 비용을 대폭으로 저감할 수 있다.
상기 시차 검출 장치는 상기 제2 화상 신호와 상기 휘도 신호를 출력하는 신호 출력부와, 사용자 조작의 입력을 접수하는 조작 입력부를 더 포함하고, 상기 주파수 특성 조정부는 상기 사용자 조작에 기초하여 상기 제2 화상 신호와 상기 휘도 신호의 사이에서 주파수 특성의 조정을 행해도 된다. 이러한 구성에 따르면, 사용자 조작에 기초하여 제2 화상 신호와 휘도 신호의 사이에서 보다 고정밀도로 주파수 특성의 조정을 행할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 제1 화상 신호와 상기 제1 화상 신호보다 저화소수의 화상 신호인 제2 화상 신호를 취득하는 단계와, 상기 제1 화상 신호로부터 휘도 신호를 추출하는 단계와, 상기 제2 화상 신호와 상기 휘도 신호 사이의 시차를 검출하는 단계와, 상기 제1 화상 신호를 출력하는 단계를 포함하는 시차 검출 방법이 제공된다.
이러한 방법에 따르면, 보다 고화소수의 화상 신호인 제1 화상 신호가 출력되기 때문에 화질 저하를 억제하는 것이 가능하다. 또한, 이러한 구성에 따르면, 보다 저화소수의 화상 신호인 제2 화상 신호를 시차 검출에 사용할 수 있기 때문에, 센서의 비용을 저하시키고 저가로 스테레오 카메라 시스템을 구축하는 것이 가능하다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 촬상 화상의 화질 저하를 억제하면서 저가로 스테레오 카메라 시스템을 구축하는 것이 가능하다.
도 1은 본 발명의 일 실시예에 따른 시차 검출 장치가 갖는 구성의 일례를 도시한 도면이다.
도 2는 도 1에 도시된 구성을 갖는 시차 검출 장치의 동작의 흐름을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 시차 검출 장치가 갖는 구성의 일례를 도시한 도면이다.
도 4는 도 3에 도시된 구성을 갖는 시차 검출 장치의 동작의 흐름을 도시한 도면이다.
이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시예들에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
또한, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능을 갖는 복수의 구성요소를 동일한 부호 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능을 갖는 복수의 구성요소 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다.
도 1은 본 발명의 일 실시예에 따른 시차 검출 장치(10)가 갖는 구성의 일례를 도시한 도면이다. 도 1에 도시된 바와 같이, 시차 검출 장치(10A)는 메인 센서, AE/AWB 제어부(111), AF 제어부(112), 디모자이크(demosaic) 처리부(120), 톤 보정부(130), RGB→YUV 변환부(140), 압축부(150) 및 RGB→Y 변환부(160)를 포함한다. 또한, 도 1에 도시된 바와 같이, 시차 검출 장치(10A)는 서브 센서, AE 제어부(211), AF 제어부(212) 및 톤 보정부(230)를 포함한다.
또한, 도 1에 도시된 바와 같이, 시차 검출 장치(10A)는 화소수 조정부(310), 주파수 특성 조정부(320), 시차 검출부(330) 및 조작 입력부(340)를 포함한다. 이하, 시차 검출 장치(10A)가 포함하는 각 구성의 기능에 대해 순차적으로 상세하게 설명한다.
메인 센서 및 서브 센서는 스테레오 카메라를 구성하고 있다. 즉, 메인 센서 및 서브 센서 각각은 촬상을 행함으로써 화상 신호를 취득한다. 메인 센서와 서브 센서의 위치 관계는 특별히 한정되지 않지만, 예를 들면 메인 센서와 서브 센서는 수cm~수십cm 정도의 간격으로 수평으로 설치된다.
이하에서는, 메인 센서가 컬러 센서에 의해 구성되고 서브 센서가 모노크롬(monochrome) 센서에 의해 구성되는 경우를 예로서 설명한다. 이러한 경우, 컬러 센서에 의해 컬러 신호가 검출되고 모노크롬 센서에 의해 모노크롬 신호가 검출된다. 또, 본 발명의 일 실시예에서는 시차 검출 장치(10A)가 스테레오 카메라를 갖는 것으로 하고 있지만, 스테레오 카메라는 시차 검출 장치(10A)의 외부에 구비되어 있어도 된다.
메인 센서에 의해 검출된 컬러 신호는, 예를 들면 프리프로세스(pre-process) 처리부(예를 들면, AE/AWB 제어부(111), AF 제어부(112) 등)에 출력된다. 메인 센서가 베이어(Bayer) 센서에 의해 구성되는 경우에는, 메인 센서에 의해 검출된 컬러 신호(베이어 신호)로부터 RGB 신호를 추출하는 디모자이크 처리가 디모자이크 처리부(120)에 의해 행해진다. 그 후, RGB 신호는 톤 보정부(130)에 의해 취득된다. 즉, 톤 보정부(130)는 RGB 신호를 취득하는 화상 취득부로서 기능할 수 있다. RGB 신호에 대해서는 톤 보정부(130)에 의해 톤 보정이 이루어진다.
이어서, RGB 신호는 RGB→YUV 변환부(140)에 의해 YUV 신호로 변환되고, 압축부(150)에 의해 압축되어 출력된다(도 1에 도시된 「영상 출력 1(메인)」참조). 압축 방식은 H.264 압축 방식이어도 되고, JPEG(Joint Photographic Experts Group) 압축 방식이어도 되며, 다른 압축 방식이어도 된다.
또, 디모자이크 처리부(120)에 의한 디모자이크 처리, 톤 보정부(130)에 의한 톤 보정, RGB→YUV 변환부(140)에 의한 변환 처리 및 압축부(150)에 의한 압축은 필요에 따라 행해지면 된다. YUV 신호의 출력처는 예를 들면 디스플레이(미도시)이어도 된다. 즉, 디스플레이(미도시)는 YUV 신호를 출력하는 화상 출력부로서 기능할 수 있다.
YUV 신호는 화소수가 모노크롬 신호와 비교하여 크다고 생각되기 때문에, 디스플레이에 의해 출력된 경우, 그 출력 결과는 사용자가 열람하는 데에 적합하다. 따라서, 사용자는 예를 들면 피사체를 감시하고자 하는 경우, 디스플레이에 의한 YUV 신호의 출력 결과를 열람함으로써 보다 높은 화소수로 표시된 피사체를 감시하는 것이 가능하다.
한편, RGB 신호는 RGB→Y 변환부(160)에 의해 Y신호(휘도 신호)로 변환된다. 즉, RGB→Y 변환부(160)는 RGB 신호로부터 Y신호를 추출하는 휘도 신호 추출부로서 기능할 수 있다. 이와 같이 RGB 신호로부터 Y신호를 추출하는 기능을 가짐으로써, 메인 센서에 의해 검출된 RGB 신호와 서브 센서에 의해 검출되는 모노크롬 신호의 사이에서의 주파수 특성의 조정을, 도 1에 도시된 「영상 출력 1」이 생성되는 프로세스와 독립적으로 행할 수 있다.
이어서, 화소수 조정부(310)에 의해 서브 센서에 의해 검출된 모노크롬 신호와 RGB 신호로부터 변환된 Y신호의 사이에서 화소수의 조정이 행해진다. 모노크롬 신호와 Y신호는 화소수가 다른 것이 예상되기 때문이다. 도 1에 도시된 예에서는, 화소수 조정부(310)에 의해 Y신호의 화소수를 저하시키는 처리(Y신호의 스케일 다운)가 행해진다. 화소수 저하의 정도는, 예를 들면 메인 센서 및 서브 센서 각각의 화소수에 따라 정해진다. 화소수 조정부(310)에 의한 화소수의 조정은 필요에 따라 행해지면 된다.
이어서, Y신호는 화소수 조정부(310)로부터 시차 검출부(330)로 출력된다. 또한, Y신호는 화소수 조정부(310)로부터 다른 출력처로 더 출력되어도 된다(도 1에 도시된 「영상 출력 2」참조). 예를 들면, Y신호의 출력처는 예를 들면 디스플레이(미도시)이어도 된다. 즉, 디스플레이(미도시)는 Y신호를 출력하는 신호 출력부로서 기능할 수 있다.
한편, 서브 센서에 의해 검출된 모노크롬 신호는, 예를 들면 프리프로세스(pre-process) 처리부(예를 들면, AE 제어부(211), AF 제어부(212) 등)에 출력된다. 그 후, 모노크롬 신호는 톤 보정부(230)에 의해 취득된다. 즉, 톤 보정부(230)는 모노크롬 신호를 취득하는 화상 취득부로서 기능할 수 있다. 모노크롬 신호에 대해서는 톤 보정부(230)에 의해 톤 보정이 이루어진다.
이어서, 주파수 특성 조정부(320)에 의해 모노크롬 신호와 RGB 신호로부터 변환된 Y신호의 사이에서 주파수 특성의 조정이 행해진다. 주파수 특성의 조정에 의해 시차 검출이 원활하게 행해지게 된다. 도 1에 도시된 예에서는, 주파수 특성 조정부(320)에 의해 모노크롬 신호의 주파수 특성을 조정하는 처리가 행해진다. 여기서, 디모자이크 처리부(120)에 의해 디모자이크 처리가 이루어지고, 화소수 조정부(310)에 의해 스케일 다운된 후의 RGB 신호는 선명도가 저하되어 있는 것이 예상된다.
그 때문에, 주파수 특성 조정부(320)는 모노크롬 신호의 선명도를 RGB 신호의 선명도에 가깝게 하기 위해, 모노크롬 신호의 선명도를 저하시킴으로써 주파수 특성의 조정을 행해도 된다. 예를 들면, 주파수 특성 조정부(320)는 모노크롬 신호의 고주파 성분을 억제함으로써 모노크롬 신호의 선명도를 저하시켜도 된다. 또, 주파수 특성 조정부(320)는 화소수 조정부(310)의 후단에 설치되어 RGB 신호의 주파수 특성을 조정해도 된다. 이 경우에는, 주파수 특성 조정부(320)는 RGB 신호의 선명도를 향상시킴으로써 주파수 특성의 조정을 행해도 된다.
주파수 특성의 조정의 정도는 예를 들면 미리 결정되어 있을 수 있다. 또한, 주파수 특성의 조정의 정도는 나중에 설명하는 바와 같이 사용자 조작에 기초하여 결정될 수 있다. 또, 톤 보정부(230)에 의한 톤 보정 및 주파수 특성 조정부(320)에 의한 주파수 특성의 조정은 필요에 따라 행해지면 된다.
이어서, 모노크롬 신호는 주파수 특성 조정부(320)로부터 시차 검출부(330)로 출력된다. 또한, 모노크롬 신호는 주파수 특성 조정부(320)로부터 다른 출력처로 더 출력되어도 된다(도 1에 도시된 「영상 출력 3」참조). 예를 들면, 모노크롬 신호의 출력처는 예를 들면 디스플레이(미도시)이어도 된다. 즉, 디스플레이(미도시)는 모노크롬 신호를 출력하는 신호 출력부로서 기능할 수 있다.
디스플레이에 의해 출력된 Y신호와 모노크롬 신호는, 예를 들면 사용자에 의해 모니터링되어도 된다. 이러한 경우, 사용자는 모니터링 결과에 따라 주파수 특성을 조정하기 위한 사용자 조작을 입력해도 된다. 그러면, 주파수 특성 조정부(320)는 조작 입력부(340)에 의해 입력이 접수된 사용자 조작에 기초하여 모노크롬 신호와 휘도 신호의 사이에서 보다 고정밀도로 주파수 특성의 조정을 행할 수 있다.
이어서, 시차 검출부(330)에 의해 모노크롬 신호와 Y신호 사이의 시차가 검출된다. 시차의 검출은 예를 들면 블록마다 행해질 수 있다. 각 블록의 크기나 형상은 특별히 한정되지 않는다. 시차의 검출은, 예를 들면 직사각형 매크로 블록 단위의 블록 매칭법에 의해 행해져도 되고, 옵티컬 플로우(Optical Flow) 등을 이용하여 행해져도 된다. 또한, 시차 검출부(330)는 블록 단위의 시차를 블록간의 선형 보간에 의해 내삽하여 1화소 단위로 시차를 검출해도 된다.
시차 검출부(330)에 의해 검출된 시차는 피사체까지의 거리를 나타내는 거리 정보로서 출력되어도 된다(도 1에 도시된 「거리 정보」참조). 거리 정보의 출력처는 특별히 한정되지 않는다. 또한, 거리 정보의 이용 방법에 대해서도 특별히 한정되지 않는다. 예를 들면, 거리 정보는 촬영 씬(scene)의 인식(예를 들면, 역광 시에 피사체가 촬영된 씬에서 피사체의 인식) 에 이용되어도 되고, 동물체의 검출에 이용되어도 되며, 피사체까지의 거리가 어느 정도인지를 파악하기 위해 이용되어도 된다.
이상, 시차 검출 장치(10)가 갖는 구성의 일례에 대해 설명하였다. 이하에서는 시차 검출 장치(10A)의 동작의 흐름에 대해 설명한다. 도 2는 도 1에 도시된 구성을 갖는 시차 검출 장치(10A)의 동작의 흐름을 도시한 도면이다.
RGB 신호는 제1 화상 신호의 일례에 해당하고, 모노크롬 신호는 제2 화상 신호의 일례에 해당한다. 또한, 상기한 바와 같이, 예를 들면 RGB 신호는 메인 센서에 의해 검출된 컬러 신호로부터 추출되고, 모노크롬 신호는 서브 센서에 의해 검출된다.
우선, 화상 취득부는 컬러 신호로부터 추출된 RGB 신호를 취득하고(단계 S11), 모노크롬 신호를 취득한다(단계 S12). 휘도 신호 추출부는 RGB 신호로부터 Y신호를 추출하고(단계 S13), 화소수 조정부(310)는 Y신호의 화소수를 조정한다(단계 S14). 주파수 특성 조정부(320)는 모노크롬 신호의 주파수를 조정하고(단계 S15), 시차 검출부(330)는 Y신호와 모노크롬 신호 사이의 시차를 검출한다(단계 S16). 시차 검출부(330)는 검출한 시차를 출력하고(단계 S17), 화상 출력부는 RGB 신호를 출력한다(단계 S18).
이상, 도 1에 도시된 구성을 갖는 시차 검출 장치(10A)의 동작의 흐름에 대해 설명하였다. 도 1에 도시된 구성을 갖는 시차 검출 장치(10A)에 따르면, 고화소 컬러 센서를 메인으로 사용함으로써 고화질의 영상 출력을 확보할 수 있다. 따라서, 촬상 화상의 화질 저하를 억제하는 것이 가능하다.
또한, 도 1에 도시된 「영상 출력 1」이 생성되는 프로세스와 독립적으로 RGB→Y 변환부(160)에 의해 Y신호를 확보하고, Y신호를 스케일 다운한 저화소 화상과 모노크롬 센서에 의해 검출된 저화소 화상을 이용하여 시차 검출을 행할 수 있다. 따라서, 서브 센서의 비용을 낮게 억제할 수 있고, 서브 센서에 의해 검출된 모노크롬 신호에 대한 화상 처리부(예를 들면, 톤 보정부(230) 등)나 시차 검출부(330)도 작은 회로 규모로 구성할 수 있다.
그 때문에, 고화소 컬러 센서 단독의 시스템에 대해 약간의 비용 상승을 행함으로써 시차 검출을 가능하게 할 수 있다. 또한, 시차 검출에 의해 생기는 발열, 전자파, 소비전력 등을 저감할 수 있다.
또한, 본 실시예에서는 메인 센서와 서브 센서의 상대적인 화소수의 고저를 정의한 것에 불과하기 때문에, 메인 센서와 서브 센서의 절대적인 화소수는 한정되지 않는다. 단, 화소수가 많으면 얻어지는 시차의 정밀도가 올라가고, 화소수가 적으면 얻어지는 시차의 정밀도가 내려갈 수 있다. 또한, 서브 센서의 스펙을 결정할 때에는 시차의 정밀도를 어느 정도 필요로 하는지, 센서 비용, 회로 규모를 어느 정도로 하는지 등의 점도 고려하여 결정하는 것이 좋다.
상기의 일 실시예에서는 메인 센서로서 컬러 센서를 이용하고, 서브 센서로서 모노크롬 센서를 이용하는 것으로 하였다. 이러한 구성에 의해, 사용자의 열람에 제공되는 영상 신호를 컬러 신호로 할 수 있음과 동시에 서브 센서의 비용을 대폭으로 저감할 수 있다. 그러나, 메인 센서 및 서브 센서의 종류는 특별히 한정되지 않는다. 예를 들면, 메인 센서 및 서브 센서 모두가 컬러 센서이어도 되고 모노크롬 센서이어도 된다. 즉, 서브 센서의 화소수가 메인 센서의 화소수보다 낮은 관계를 만족시키면 된다.
상기에서는 RGB 신호가 제1 화상 신호의 예로서 취득되고, 모노크롬 신호가 제2 화상 신호의 예로서 화상 취득부에 의해 취득되는 경우에 대해 설명하였지만, 제1 화상 신호 및 제2 화상 신호는 각각 RGB 신호 및 모노크롬 신호에 한정되지 않는다. 즉, 제1 화상 신호 및 제2 화상 신호는, 제2 화상 신호가 제1 화상 신호보다 저화소수의 화상 신호인 관계를 만족시키는 화상 신호이면 된다.
다음에, 시차 검출 장치(10)가 갖는 구성의 다른 일례에 대해 설명한다. 도 3은 본 발명의 실시예에 관한 시차 검출 장치(10)가 갖는 구성의 다른 일례를 도시한 도면이다. 도 3에 도시된 바와 같이, 시차 검출 장치(10B)는 화소수 조정부(310) 및 주파수 특성 조정부(320)가 포함되는 위치가 시차 검출 장치(10A)와 다르다. 이하에서는, 시차 검출 장치(10B)에 설치된 화소수 조정부(310) 및 주파수 특성 조정부(320)에 대해 설명한다.
화소수 조정부(310)는, 서브 센서에 의해 검출된 모노크롬 신호와 RGB 신호로부터 변환된 Y신호의 사이에서 화소수의 조정을 행한다. 그러나, 화소수 조정부(310)는 상기한 도 1의 실시예와는 달리 모노크롬 신호의 화소수를 향상시키는 처리(모노크롬의 스케일 업)를 한다. 화소수의 향상의 정도는, 예를 들면 메인 센서 및 서브 센서 각각의 화소수에 따라 정해진다.
또한, 주파수 특성 조정부(320)는, 모노크롬 신호와 RGB 신호로부터 변환된 Y신호의 사이에서 주파수 특성의 조정을 행한다. 그러나, 주파수 특성 조정부(320)는 상기한 예와는 달리 Y신호의 주파수 특성을 조정하는 처리를 한다. 여기서, 화소수 조정부(310)에 의해 스케일 업된 모노크롬 신호는 선명도가 저하되어 있는 것이 예상된다.
그 때문에, 주파수 특성 조정부(320)는 Y신호의 선명도를 모노크롬 신호의 선명도에 가깝게 하기 위해, Y신호의 선명도를 저하시킴으로써 주파수 특성의 조정을 행해도 된다. 예를 들면, 주파수 특성 조정부(320)는 Y신호의 고주파 성분을 억제함으로써 Y신호의 선명도를 저하시켜도 된다. 또, 주파수 특성 조정부(320)는 화소수 조정부(310)의 후단에 설치되고, 모노크롬 신호의 주파수 특성을 조정해도 된다. 이 경우에는, 주파수 특성 조정부(320)는 모노크롬 신호의 선명도를 향상시킴으로써 주파수 특성의 조정을 행해도 된다.
이상, 시차 검출 장치(10)가 갖는 구성의 다른 일례에 대해 설명하였다. 이하에서는 시차 검출 장치(10B)의 동작의 흐름에 대해 설명한다. 도 4는 도 3에 도시된 구성을 갖는 시차 검출 장치(10B)의 동작의 흐름을 도시한 도면이다. 또, RGB 신호는 제1 화상 신호의 일례에 해당하고, 모노크롬 신호는 제2 화상 신호의 일례에 해당한다. 또한, 상기한 바와 같이, 예를 들면 RGB 신호는 메인 센서에 의해 검출된 컬러 신호로부터 추출되고, 모노크롬 신호는 서브 센서에 의해 검출된다.
우선, 화상 취득부는 컬러 신호로부터 추출된 RGB 신호를 취득하고(단계 S21), 모노크롬 신호를 취득한다(단계 S22). 휘도 신호 추출부는 RGB 신호로부터 Y신호를 추출하고(단계 S23), 주파수 특성 조정부(320)는 Y신호의 주파수 특성을 조정한다(단계 S24). 화소수 조정부(310)는 모노크롬 신호의 화소수를 조정하고(단계 S25), 시차 검출부(330)는 Y신호와 모노크롬 신호 사이의 시차를 검출한다(단계 S26). 시차 검출부(330)는 검출한 시차를 출력하고(단계 S27), 화상 출력부는 RGB 신호를 출력한다(단계 S28).
이상, 도 3에 도시된 구성을 갖는 시차 검출 장치(10B)의 동작의 흐름에 대해 설명하였다. 도 3에 도시된 구성을 갖는 시차 검출 장치(10B)에 따르면, 고화소 컬러 센서를 메인으로 사용함으로써 고화질의 영상 출력을 확보할 수 있다. 따라서, 시차 검출 장치(10A)와 같이 촬상 화상의 화질 저하를 억제하는 것이 가능하다.
또한, 도 3에 도시된 「영상 출력 1」이 생성되는 프로세스와 따로 설치한 RGB→Y 변환부(160)에 의해 Y신호를 확보하고, Y신호와 모노크롬 센서에 의해 검출된 화상을 스케일 업시킨 저화소 화상을 이용하여 시차 검출을 행할 수 있다. 따라서, 시차 검출 장치(10A)와 같이 서브 센서의 비용을 낮게 억제할 수 있다. 또한, 시차 검출 장치(10B)에 따르면, 스케일 업된 화상이 시차 검출부(330)에 입력되기 때문에 보다 고정밀의 시차 검출을 행할 수 있다.
또한, 시차 검출 장치(10A)와 같이 시차 검출 장치(10B)에 따르면, 고화소 컬러 센서 단독의 시스템에 대해 약간의 비용 상승을 행함으로써 거리 검출을 가능하게 할 수 있고, 시차 검출에 의해 생기는 발열, 전자파, 소비전력 등을 저감할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시예들에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예에 상도할 수 있음은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
10(10A, 10B): 시차 검출 장치
111: AE/AWB 제어부
112: AF 제어부
120: 디모자이크 처리부
130: 톤 보정부(화상 취득부)
140: RGB→YUV 변환부
150: 압축부
160: RGB→Y 변환부(휘도 신호 추출부)
211: AE 제어부
212: AF 제어부
230: 톤 보정부
310: 화소수 조정부
320: 주파수 특성 조정부
330: 시차 검출부
340: 조작 입력부

Claims (6)

  1. 제1 화상 신호와 상기 제1 화상 신호보다 저화소수의 화상 신호인 제2 화상 신호를 취득하는 화상 취득부;
    상기 제1 화상 신호로부터 휘도 신호를 추출하는 휘도 신호 추출부;
    상기 제2 화상 신호와 상기 휘도 신호 사이의 시차를 검출하는 시차 검출부;
    상기 제1 화상 신호를 출력하는 화상 출력부;를 포함하는
    시차 검출 장치.
  2. 제1항에 있어서,
    상기 제2 화상 신호와 상기 휘도 신호의 사이에서 화소수의 조정을 행하는 화소수 조정부를 더 포함하는
    시차 검출 장치.
  3. 제1항에 있어서,
    상기 제2 화상 신호와 상기 휘도 신호의 사이에서 주파수 특성의 조정을 행하는 주파수 특성 조정부를 더 포함하는
    시차 검출 장치.
  4. 제1항에 있어서,
    상기 제1 화상 신호는 컬러 센서에 의해 검출된 화상 신호이고, 상기 제2 화상 신호는 모노크롬 센서에 의해 검출된 화상 신호인
    시차 검출 장치.
  5. 제3항에 있어서,
    상기 시차 검출 장치는,
    상기 제2 화상 신호와 상기 휘도 신호를 출력하는 신호 출력부; 및
    사용자 조작의 입력을 접수하는 조작 입력부;를 더 포함하고,
    상기 주파수 특성 조정부는, 상기 사용자 조작에 기초하여 상기 제2 화상 신호와 상기 휘도 신호의 사이에서 주파수 특성의 조정을 행하는
    시차 검출 장치.
  6. 제1 화상 신호와 상기 제1 화상 신호보다 저화소수의 화상 신호인 제2 화상 신호를 취득하는 단계;
    상기 제1 화상 신호로부터 휘도 신호를 추출하는 단계;
    상기 제2 화상 신호와 상기 휘도 신호 사이의 시차를 검출하는 단계;
    상기 제1 화상 신호를 출력하는 단계;를 포함하는
    시차 검출 방법.
KR1020130050106A 2012-05-07 2013-05-03 시차 검출 장치 및 시차 검출 방법 KR20130124898A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-106079 2012-05-07
JP2012106079A JP2013236172A (ja) 2012-05-07 2012-05-07 視差検出装置および視差検出方法

Publications (1)

Publication Number Publication Date
KR20130124898A true KR20130124898A (ko) 2013-11-15

Family

ID=49761960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130050106A KR20130124898A (ko) 2012-05-07 2013-05-03 시차 검출 장치 및 시차 검출 방법

Country Status (2)

Country Link
JP (1) JP2013236172A (ko)
KR (1) KR20130124898A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6743889B2 (ja) * 2016-06-02 2020-08-19 ソニー株式会社 画像処理装置と画像処理方法および学習装置と学習方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078055B2 (ja) * 1992-10-21 1995-01-30 幹次 村上 立体撮像支援装置
JP4193292B2 (ja) * 1999-07-02 2008-12-10 コニカミノルタホールディングス株式会社 多眼式データ入力装置
JP2011160299A (ja) * 2010-02-02 2011-08-18 Konica Minolta Holdings Inc 三次元画像撮影システムおよび三次元画像撮影システム用カメラ
JP5406151B2 (ja) * 2010-09-24 2014-02-05 パナソニック株式会社 ３次元撮像装置
JP4852169B2 (ja) * 2010-11-22 2012-01-11 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2013236172A (ja) 2013-11-21

Similar Documents

Publication Publication Date Title
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8896668B2 (en) Combining data from multiple image sensors
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
US9001227B2 (en) Combining data from multiple image sensors
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
US8648961B2 (en) Image capturing apparatus and image capturing method
US20070222858A1 (en) Monitoring system, monitoring method and program therefor
US20110122232A1 (en) Stereoscopic image display apparatus, compound-eye imaging apparatus, and recording medium
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20200412967A1 (en) Imaging element and imaging apparatus
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
JP2010004464A (ja) ホワイトバランス制御装置、ホワイトバランス制御方法
JP2014126803A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN101227557A (zh) 显示设备及其视频调节方法
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2006157432A (ja) 立体画像撮影装置及び立体画像の撮影方法
KR20130124898A (ko) 시차 검출 장치 및 시차 검출 방법
US8675106B2 (en) Image processing apparatus and control method for the same
JP2011134019A (ja) 画像処理装置及びその制御方法
US11438516B2 (en) Image processing apparatus and image processing method
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2010021651A (ja) 環境光推定装置、デジタルカメラ及び環境光推定プログラム
EP4210335A1 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination