KR100908028B1 - 전자 장치들을 위한 멀티 카메라 솔루션 - Google Patents

Abstract

전자 장치 내 둘 이상의 카메라들의 비디오 스트림들을 처리하는 방법, 전자 장치 및 컴퓨터 프로그램 제품이 개시되고, 이들은: 제1 및 제2카메라들을 통해 적어도 제1 및 제2비디오 스트림들 (1, 1', 1''; 2, 2', 2'')를 캡처하는 동작(202, 204), 및 제1 및 제2비디오 스트림들을 한 통합 비디오 스트림으로 병합하는 hd작(206)을 포함한다.

Description

전자 장치들을 위한 멀티 카메라 솔루션{Multi-camera solution for electronic devices}

본 발명은 한 전자 장치에서 둘 이상의 카메라들을 이용하는 방법 및, 트윈 혹은 멀티 카메라 솔루션을 포함하는 상응하는 전자 장치에 관한 것이다. 특히, 본 발명은 둘 이상의 카메라들을 동시에 이용하면서 하나의 카메라 인터페이스와 비디오 프로세싱/코딩 파이프라인을 활용하는 것과 관련이 있다.

모바일 전화들이나 최근의 PDA들 같은 전자 장치들에서의 카메라들의 사용은 오늘날 매우 일반적인 일이 되었다. 모바일 장치들에서 이러한 기술을 사용하기 시작할 때, 그 카메라들은 가령 MMS에 사용될 스틸 사진들을 찍는 데 사용되었다. 그러나, 기술의 발달과 함께, 이들은 비디오 클립들을 캡처하는 데 점점 더 많이 사용되고 있다.

전화 하우징의 어떤 형태들, 특히 플립 (flip) 형 전화기들을 사용할 때, 닫힌 자세뿐 아니라 개방 자세로 사진 (또는 비디오)을 촬영할 가능성을 제공한다는 문제가 생겨났다. 또한 사용자들은 자신들의 사진을 찍으면서, 또한 자신들이 보고 있는 장면의 사진을 찍을 수 있을 것을 원하였다, 즉, 심지어 180도까지 보통 서로 떨어져 있는 두 방향의 사진들을 캡쳐 하는 것이 가능해야 했다. "고정형" (rigid) 전화 하우징들 ("벽돌 타입 (brick type)")을 사용할 때에도, 전화 사용자의 사진들 (자가 사진 모드 (self-portrait mode)))뿐 아니라 사용자 시점에서의 사진들 둘 모두를 찍을 수 있게 한다는 소망이 생겨났다. 이를 성취하기 위해, 회전형 카메라들이나 카메라 옵틱스 (optics) 등의 소정 수단들이 사용되었다. 한편으로 이것은 적절한 솔루션으로 보여지기도 하지만, 다른 한편으로 모바일 전자 장치들에서 기계적으로 이동가능한 부품들의 양이 가능한 낮게 유지되어야 한다. 이러한 기계적 솔루션들은 사용자에 의해 조작됨에 있어 그다지 편치가 못하고, 장치 안에서 상당한 공간을 차지하여 다른 더 유용한 목적에 그것이 활용되지 못하고 낭비된다. 또 이동형 카메라들을 포함하는 이러한 구조는 자주 사용하면 마모되기가 십상이다.

따라서, 다른 솔루션이, 두 개의 카메라를 하나의 장치 안에 포함하는 모바일 전화기들을 제공하는 것인데, 가령, 하나는 통상적인 카메라처럼 사진을 찍기 위해 전방(forward) 방향을 향하고, 다른 하나는 장치를 쥐고 있는 사람의 사진을 찍도록 되어 있다. 이러한 트윈 카메라들은 회전형 카메라 등등들에 비해 더 편리하게 하우징 안에 병합될 수 있고, 당연히 더 튼튼한 구성을 제공한다. 그러나, 또한 회전형이나 이동형 카메라들과 비교해 여러 단점들을 제공하기도 한다. 카메라에 대한 어떤 하드웨어 부품들까지 두 배로 제공되어야 하기 때문에 그렇게 갖춰진 전화나 일반적 모바일 전자 장치의 비용은 당연히 더 높아질 것이다. 일반적으로 제조자는 단순하게 두 개의 독자적이고 실질적으로 온전한 카메라 모듈들을 구매하여 장치 안에서 병합할 것이다.

두 개의 카메라들을 제공하는 것은, 카메라 인터페이스, 전처리 (pre-processing) 및 비디오 코딩 파이프라인, 그리고 물리적 크기에 관한 수많은 난제를 수반하는데, 이는 통상적으로 어플리케이션 엔진이 한 번에 한 카메라만을 지원하기 때문이다. 만일 두 카메라들이 시스템에 연결되면, 전처리 및 비디오 인코딩과 관련해 새로운 문제들이 생겨난다. 공간적 제한으로 인해, 별도의 두 카메라들을 모바일 전자 장치 안에 하우징하는 것 역시 어려울 수 있다.

특허 출원 GB 2 394 381 A는 두 하우징 부분이 있고, 두 카메라들을 포함하는 폴더/트위스트형 모바일 전화에 대해 기술한다. 한 번에 한 카메라만이 사용되고, 두 카메라들 간 스위칭은 두 하우징 부분들 간 배치 관계 (positional relation)를 검출하는 센서를 활용해 수행된다. 검출된 배치에 따라 제1 혹은 제2카메라의 동작이 개시/중단된다.

특허 출원 GB 2 379 828 A는 전화기의 전단과 후단으로부터 각자 사진을 찍을 수 있는 두 카메라들을 포함한 모바일 전화를 개시한다. 여기서 두 카메라 모듈들은 서로 등을 져서 주어지거나, 한 카메라 모듈과 스위치 가능 광검출 장치가 전화기로 하여금 전면이나 후면으로부터 사진을 찍을 수 있게 한다. 사용자는 전화의 각 면에서 사진을 찍도록 하는 카메라 뷰(view) 모드로 스위치할 수 있다.

두 개의 카메라를 포함한다고 알려진 모바일 전자 장치들은 존재하고 있지만, 이들은 보통 별도의 두 비디오 스트림들을 제공하도록 동시에 작동될 수 없는데, 이는 오직 한 카메라 인터페이스와 한 신호 프로세싱 경로만이 주어지기 때문이다.

(스틸 또는 단일) 사진들만을 찍기 위해 카메라들을 이용하면, 사용자가 자신의 사진뿐 아니라 자신이 보고 있는 장면을 동시에 찍도록 하는 대단한 요구로 이어질 가능성이 없을 것인데, 이는 (사진에서 원하는 부분을 포커싱 (focusing), 주밍 (zooming) 및 선택하는 것과 관련하여) 이것을 연속적으로, 즉 한 사진 다음에 다른 사진으로 차례로 하는 것이 훨씬 더 편리할 것이기 때문이다. 그러나, 비디오 클립들을 리코딩하는 경우에 있어 그러한 요구가 일어날 수가 있다.

따라서, 사용자로 하여금 두 비디오 클립들이나 스트림들을 동시에 리코딩할 수 있게 하는 하나의 모바일 전자 장치 안에 두 카메라들을 제공하는 것이 바람직할 수 있다는 것은 자명한 사실이다.

예를 들어, 사용자가 자신이 주시하는 장면을 리코딩하면서 동시에 그에 대한 자신의 반응을 리코딩하고자 할 수도 있다. 그러한 특징은 가령 동시에 프레젠테이션 된 스케치들이나 도면들을 보이면서 그와 동시에 실제 보고자의 이미지를 디스플레이하기 위한, 비디오 화상회의 어플리케이션 유형에 유용할 것이다. 그 사람이 말하는 것을 동시에 볼 수 있다는 것은 가령 청각장애인 등에 바람직할 뿐 아니라, 다른 청중들의 이해를 도울 수도 있다. 레저 영역의 다른 한 어플리케이션이, 롤러코스터를 탄 것을 리코딩하고 동시에 승객 자체의 얼굴을 기록하는 것일 수 있으며, 이것은 승객이 보고 있는 것만을 보이는 것에 비해 그 효과를 훨씬 높여줄 것이다.

본 발명은 상술한 요구들에 더 잘 부합할 수 있는 한 장치 내 두 카메라의 보다 효율적 사용에 대한 방법을 제안하는 것이 목적이다. 그에 상응하는 전자 장치가 본 발명에 의해 더 제안되며, 이 장치는 동시에 작동되면서 동시에 하드웨어 구성요소들의 양을 가능한 낮게 유지하는 두 카메라들을 제공한다. 본 발명의 방법 및 장치 모두, 그에 상응해 구비되어야 할 전자 장치들의 어플리케이션 엔진/소프트웨어 플랫폼, 카메라 인터페이스 및 비디오 프로세싱/코딩 파이프라인에 대한 주요한 변경을 요하지 않는다.

본 발명의 한 양태에 따르면, 한 장치 안에서 둘 이상의 카메라들의 비디오 스트림들을 처리하는 방법이 제안된다. 전자 장치는 모바일 전화, PDA (Personal Digital Assistant) 또는 휴대형 혹은 비휴대형 컴퓨터일 수 있다. 이 방법은 제1 및 제2카메라들에 의해 적어도 제1 및 제2비디오 스트림들을 캡처하는 단계, 및 상기 적어도 제1 및 제2 비디오 스트림들을 통합 비디오 스트림으로 병합하는 단계를 포함한다. 이 방법은 둘 이상의 카메라들을 동시에 이용하는데 한 개의 카메라 인터페이스 및 비디오 프로세싱 파이프라인 사용을 가능하게 하며, 이것이 그에 맞춰 동작하는 장치들로 하여금, 하나의 카메라 구성과 비교할 때 최소량의 추가적 하드웨어 구성요소들만을 가지고 제조될 수 있게 한다. 또, 이 방법은 둘 이상의 비디오 스트림들을 동시에 처리하기 위한 어플리케이션 엔진이나 소프트웨어 플랫폼의 최소한의 변경이 가능하게 한다.

전형적 실시예에서, 통합 비디오 스트림을 생성해 통합을 수행하며, 상기 통합된 비디오 스트림의 프레임들은 상기 적어도 제1 및 제2비디오 스트림 각자의 프레임들에 의해 번갈아 제공된다. 예를 들어, 두 비디오 스트림들의 경우, 상기 통합 비디오 스트림의 홀수 프레임들이 상기 제1비디오 스트림의 프레임들로서 주어질 수 있고, 짝수 프레임들은 상기 제2비디오 스트림의 프레임들로서 주어질 수 있으며, 그 반대의 경우도 성립된다. 이것은 당연히 n 개의 비디오 스트림들 (n≥2)로 확장될 수 있는바, 가령 통합 비디오 프레임의 모든 n 번째 프레임이 n 번째 비디오 스트림의 프레임으로 주어지게 되는 것이다. 번갈아 프레임들을 공급하는 것은, 번갈아 프레임 세트를 공급하는 것도 역시 포함할 수 있다. 예를 들어, 최초의 다섯 프레임들은 상기 제1비디오 스트림의 프레임들로 공급되고, 다음 다섯 개의 프레임들은 제2비디오 스트림의 프레임들로 공급될 수 있으며, 그 반대의 경우도 가능하다. 이것은 병합을 수행하는 방법을 매우 수월한 방식으로 제시한다. 최종 통합 비디오 스트림의 규모 (dimensions)/화면 종횡비 (aspect ratio)는 적어도 두 오리지널 스트림들의 것들과 동일하고, 이것이 추후 프로세싱을 상당히 단순화할 수 있다. 그러나, 샘플링 레이트는 이 방법의 소정 실시예들에서 오리지널 스트림들의 것보다 두 배로 될 것이다.

전형적 실시예에서, 통합 비디오 스트림을 생성함으로써 병합이 수행되며, 이때 상기 통합 비디오 스트림의 프레임 섹션들은 상기 적어도 제1 및 제2비디오 스트림 각각의 각자의 프레임들의 해당 섹션들에 의해 공급된다. 두 개의 비디오 스트림들이 있는 간단한 경우에 있어, 이것은 가령, 통합 비디오 스트림의 절반은 제1비디오 스트림의 프레임들로 공급되고 다른 절반은 제2비디오 스트림의 프레임들로 공급되는 식으로 수행될 수 있다. 이것은, 특정 어플리케이션 및 포함된 비디오 스트림들의 사이즈/화면 종횡비에 따라 여러 적합한 구성을 제공하게 된다. 사진 속 사진 (picture-in-picture) 모드 유형과 같은 복잡한 통합들도 이렇게 수행될 수 있다.

전형적인 한 실시예에서, 그 적어도 두 섹션들은 서로 인접하게 배치된다. 이는 프레임들을 나란히, 심지어 수직방향으로도 인접해 배치하는 것을 포함한다. 어떤 배치가 특정 목적에 가장 알맞은가는 주로 관련 화면 종횡비들 (aspect ratios)에 좌우될 것이다. 예를 들어, 두 16:9 비디오 스트림들은 아마도 32:9가 아닌 16:18로 통합된 비디오 스트림을 형성하도록 병합될 것이다. 그러나, 이런 방식의 병합 수행은 구현에 용이하고 또한 계속해서 여러 어플리케이션들에 적응되는 상당한 정도의 융통성을 제공한다.

전형적인 한 실시예에서, 병합은, 통합 비디오 스트림을 생성함으로써 수행되며, 이때 상기 통합 비디오 스트림의 한 프레임의 라인들은 상기 적어도 제1 및 제2비디오 스트림의 프레임들의 라인들로서 각자 번갈아 공급된다. 예를 들어, 두 비디오 스트림들의 경우, 상기 통합 비디오 스트림의 각 프레임의 홀수 라인들은 상기 제1비디오 스트림의 프레임들의 라인들로 공급될 수 있고, 짝수 라인들은 상기 제2비디오 스트림의 프레임들의 라인들로 공급될 수 있다. 라인들을 번갈아 공급하는 것은 라인들의 세트를 번갈아 공급하는 것도 포함할 수 있다. 그러한 병합의이점이 아래의 설명을 통해 설명될 것이다.

전형적인 한 실시예에서, 본 발명의 방법은 상기 통합 비디오 스트림을 처리하는 단계를 더 포함한다. 나중에 설명하겠지만 소정 프로세싱 단계들은 개별적인 별개의 출력 스트림들에 대해 순차적으로 수행되기 보다는 통합 비디오 스트림에 대해 바람직하게 수행될 수 있다.

전형적인 한 실시예에서, 이 방법은 상기 통합 비디오 스트림을, 상기 제1 및 제2비디오 스트림들에 각자 대응하는 제1 및 제2출력 비디오 스트림들로 분리하는 단계를 더 포함하여, 상기 제1 및 제2출력 비디오 스트림들이 추후 처리, 저장또는 디스플레이에 사용 가능하게 만든다. 통합 비디오 스트림에 아무 프로세싱도 수행되지 않으면, 출력 비디오 스트림들은 오리지널 비디오 스트림들과 동일할 것이다. 그러나, 프로세싱은 수행될 것이고, 통합 단계에 보충되는 분리가 수행될 때 그 출력 비디오 스트림들은 오리지널 비디오 스트림들에 여전히 대응할 것이다.

본 발명의 다른 양태에 따라 컴퓨터 프로그램 제품이 제공되며, 이 프로그램 제품은 컴퓨터나 네트워크 장치상에서 실행될 때 본 발명의 방법을 수행하는 프로그램 코드 수단을 포함한다.

본 발명의 다른 양태에 따라 컴퓨터 프로그램 제품이 제공되며, 이 프로그램 제품은 컴퓨터나 네트워크 장치상에서 실행될 때, 본 발명의 방법을 수행하기 위해 컴퓨터 판독가능 매체 상에 구현되는 프로그램 코드 수단을 포함한다.

본 발명의 또 다른 양태에 따라 컴퓨터 프로그램 제품이 제공되며, 이 프로그램 제품은 컴퓨터나 네트워크 장치상에서 실행될 때, 본 발명의 방법을 수행하기 위해 서버로부터 다운로드 가능한 프로그램 코드를 포함한다.

본 발명의 제2양태에 따라 전자 장치가 제공되며, 이것은, 가령 렌즈나 렌즈 시스템 같은 적어도 제1 및 제2옵틱(optic)들, 각기 상기 제1옵틱과 결부되고 상기 제2옵틱과 결부된 적어도 제1 및 제2이미지 센서들을 포함한다. 이미지 센서들은 제1 및 제2비디오 스트림들을 각자 캡처하도록 동작한다. 이 장치는, 상기 wrjdj도 제1 및 제2비디오 스트림들의 통합 비디오 스트림을 생성하도록 동작하는 비디오 통합기 유닛을 더 포함한다. 상기 장치는 하드웨어 구성요소를 적게 유지하면서, 옵틱들 및 이미지 센서들에 의해 구성되는 둘 이상의 카메라들의 동시 사용 가능성을 제공할 수 있다. 앞에서 설명한 바와 같이, 그러한 동시 사용은 비즈니스 필드에서뿐 아니라 레저나 오락 활동을 위해서도 여러 유익한 어플리케이션들이 있게 한다. 한 예가 SWIS/비디오 전화 어플리케이션들일 수 있다.

전형적인 한 실시예에서, 비디오 통합기 유닛은, 상기 통합 비디오 스트림의 프레임들이 상기 적어도 제1 및 제2비디오 스트림의 프레임들이나 그 프레임들의 세트들에 의해 각자 번갈아 공급되는, 통합 비디오 스트림을 생성하도록 된다.

전형적인 한 실시예에서, 비디오 통합기 유닛은, 상기 통합 비디오 스트림의 한 프레임의 섹션들이, 상기 적어도 제1 및 제2비디오 스트림 각자의 프레임들의 섹션들이나 그 섹션들의 집합들에 의해 번갈아 공급되는, 통합 비디오 스트림을 생성하도록 된다.

전형적인 한 실시예에서, 비디오 통합기 유닛은, 상기 통합 비디오 스트림의 한 프레임의 라인들이, 상기 적어도 제1 및 제2비디오 스트림 각자의 프레임들의 라인들이나 그 라인들의 집합들에 의해 번갈아 공급되는, 통합 비디오 스트림을 생성하도록 된다.

본 발명의 전형적인 한 실시예에서, 상기 옵틱들은 서로에 대해 180도 방향으로 맞춰진다. 이러한 옵틱들의 구성은 구현이 용이하고, 당연히 사용자가 보는 장면과 그와 동시에 사용자 자신을 리코딩하려는 목적에 가장 잘 들어맞는다. 그러나, 이는 단지 상술한 목적을 위한 가장 일반적인 솔루션일 뿐이며, 대략 90도, 45도, 135도 또는 기타의 각도 같은 다른 방위들을 사용하는 것 역시 본 발명의 범주 안에 들어온다는 것을 알아야 한다.

본 발명의 전형적 실시예에서, 본 발명은 상기 통합 비디오 스트림을 처리하도록 된 비디오 프로세싱 유닛을 포함한다. 나중에 서술하는 바와 같이, 통상적으로 개별 출력 비디오 스트림들 보다는 오히려 고정 통합 비디오 스트림에 대해 바람직하게 수행될 수 있는 프로세싱 방법들이 존재하고 있다.

본 발명의 전형적 실시예에서, 이 장치는 상기 모바일 전자 장치의 어플리케이션 엔진에 의해 상기 통합 비디오 스트림에 액세스 가능하도록 된 카메라 인터페이스를 더 포함한다. 본 발명은 두 개의 독자적 인터페이스들과 이 인터페이스들을 다루는 프로세서에 대해 복잡하고 돈이 드는 솔루션들을 필요로 하기보다 단지 하나의 인터페이스 사용을 가능하게 한다. 어플리케이션 엔진의 입장에서 볼 때, 통합 비디오 스트림은 일반적인 한 비디오 스트림인 것처럼 처리될 수 있다. 다른 모든 것이 소프트웨어를 통해 손쉽게 다뤄질 수 있으며, 본 발명의 트윈 또는 멀티 카메라 솔루션을 구현하는데 아주 약간의 변형만이 필요로 될 것이다.

본 발명의 전형적 실시예에서, 본 발명의 장치는, 상기 통합 비디오 스트림을 상기 제1 및 제2비디오 스트림들에 각기 대응하는 제1 및 제2출력 비디오 스트림들로 분리하여, 상기 제1 및 제2출력 비디오 스트림들이 추후 처리, 저장 또는 디스플레이에 사용가능하게 되도록 만들게 하는 비디오 분리 유닛을 더 포함한다. 이것은 출력 비디오 스트림들의 다양한 어플리케이션 또는 이용을 고려한다. 더 상세한 설명이 도면에 대한 설명을 통해 주어질 것이다.

본 발명의 전형적 실시예에서, 본 발명의 장치는, 상기 제1 및 제2이미지 센서들이 통합 이미지 센서로 결합 되도록 구현된다. 듀얼(dual) 카메라 솔루션에 있어서, 이것은 당연히 가능한 방식으로 된다. 이것은 적절한 광학적 편향 장치 (이하에서 더 상세히 설명될 것임)와 결합 된 단일 이미지 센서의 이용뿐 아니라, "더블 사이드(double-sided)" 센서 (즉, 양 사이드 상에 광 감지 영역을 갖는 실리콘으로 제조됨)의 사용 역시 포함하게 된다.

본 발명의 전형적 실시예에서, 본 발명의 장치는 상기 각자의 제1 및 제2옵틱으로 보여지는 뷰(view)들을 각기 상기 제1 및 상기 제2이미지 센서로 향하게 하는 광학적 편향 소자를 더 포함한다. 이런 식으로, 도면에서 더 명확히 알 수 있는 바와 같이, 대게 일반적인 형태로 된 단일 이미지 센서가 활용될 수 있다.

본 발명의 전형적 실시예에서, 상기 장치는 적어도 제1 및 제2자세로 세팅 가능한 리트랙터블(retractable) 요소 안에 상기 제1 및 제2옵틱들이 병합되는 하우징을 더 포함하며, 상기 옵틱들은 적어도 부분적으로 상기 하우징 안에 제2자세로 쑥 들어가 상기 제1자세로 작동될 수 있다. 예를 들어, 제1자세는 가령 리트랙터블 요소가 밖으로 열리는 "오픈" 자세일 수 있고, 제2자세는 가령 리트랙터블 요소가 안으로 접히는 "닫힘" 자세일 수 있다. 이것은, 이들이 사용되지 않을 때 렌즈들을 먼지와 긁힘으로부터 보호하기 위한 훌륭한 기계적 솔루션을 제공한다. 리트랙터블 요소는 수동적으로 밖으로 열려질 수도 있고, 아니면 전자 모터가 이 용도로서 사용될 수 있다.

본 발명의 전형적인 한 실시예에서, 이 장치는, 상기 리트랙터블 요소가 상기 제1자세로 세팅될 때 및/또는 상기 리트랙터블 요소가 상기 제2자세로 세팅될 때 작동되도록 구성된 스위치를 더 포함한다. 이것은 카메라 관련 소프트웨어 어프리케이션들의 자동 작동이나 작동 해제 (de-activation)을 가능하게 한다. 또, 카메라 하드웨어가, 필요한 때에만 전력을 공급받게 될 수 있어, 모바일 전자 장치들에서는 보통 제한되게 되는 에너지를 절약할 수가 있다.

상기 전자 장치는 모바일 단말, 모바일 전화, PDA 등과 같은 모바일 전자 장치일 수 있다. 본 발명은, 예시적 전형들로서만 제공되어 본 발명을 특정한 실시예로 한정하고자 의도된 것이 아닌 첨부된 도면들을 참조해 더 완전하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 방법의 일실시예를 도시한 것이다;

도 2는 전자 장치의 어플리케이션 엔진/소프트웨어 플랫폼의 시점에서 본 발명이 어떻게 구현될 수 있는지를 도시한 것이다;

도 3은 본 발명의 일실시예에 따라 단일 통합 비디오 스트림을 제공하기 위해 두 비디오 스트림들이 어떻게 병합될 수 있는가를 보인 것이다;

도 4는 본 발명의 다른 실시예에 따라 두 비디오 스트림들이 하나의 통합 비디오 스트림을 제공하기 위해 어떻게 병합될 수 있는가를 보인 것이다;

도 5는 본 발명에 따른 모바일 전자 장치의 가능한 하드웨어 구성을 도시한 것이다;

도 6은 본 발명에 따른 모바일 전자 장치의 다른 하드웨어 구성을 도시한 것이다;

도 7은 본 발명에 따른 모바일 전자 장치의 또 다른 하드웨어 구성을 도시한 것이다;

도 8은 본 발명에 따른 전자 장치의 하우징 안에 두 카메라를 병합하는 실시예를 보인 것이다.

본 발명이 셋 이상의 비디오 스트림들 및 셋 이상의 카메라들에도 적용될 수 있다는 것을 알아야 한다. 그러나, 간단히 하기 위해, 이후 설명에서는 두 개의 카메라 스트림들과 카메라들을 각기 참조할 것이다.

도 1은 모바일 전자 장치에서 두 비디오 스트림들을 처리하는 본 발명의 방법이 어떻게 구현되는가를 도시한 것이다. 202 및 204 단계에서, 두 비디오 스트림들이 캡처 되거나 리코딩 된다. 그 다음에, 이들 두 비디오 스트림들이 한 통합 또는 결합 비디오 스트림으로 병합된다(206 단계). 카메라 인터페이스가 하나의 비디오 스트림만을 다루도록 작동되더라도, 이 통합 비디오 스트림은 이제 그 카메라 인터페이스로 주어질 수 있다. 그러나 그러한 인터페이스가 충족되게 하기 위해서는 어떤 제한이 가해질 수 있으며, 이에 대해서는 나중에 설명할 것이다. 208 단계는 옵션으로서 파악되어야 하며, 본 발명의 다른 가능한 실시예들에서는 제시되지 않을 수도 있다. 그 단계에서, 통합 비디오 스트림에 대해 프로세싱이 수행 될 수 있으며, 예를 들면 그 프로세싱은 상기 스트림을 인코딩 절차를 겪게 하는 것일 수 있다. 이 단계는 각 전자 장치의 내부 메모리나 MMC 등과 같은 메모리 카드 등과 같은, 메모리 장치에 통합 비디오 스트림을 저장하는 것 역시 포함할 수 있다. 다음으로, 210 단계에서, 통합 비디오 스트림으로부터 다시 두 비디오 스트림들이 분리된다. 이들이 옵션 단계인 208에서 어떤 프로세싱을 거쳤을 수 있으므로, 이것이 반드시 두 오리지널 비디오 스트림들과 동일한 두 비디오 스트림들로 되는 것은 아니다. 그러나, 분리나 추출은 실질적으로 병합 프로세스에 보완되어 수행된다. 만일, 나중에 설명하는 것처럼, 비디오 스트림들 각자의 프레임들이 통합 비디오 스트림의 단일 프레임 안에 결합 되도록 병합이 수행된 경우, 실질적 어플리케이션에 따라 병합/분리 프로세스가 정확히 보충되지 않을 수 있는 상상 가능한 구현방식들 역시 존재한다. 212 및 214 단계들에서, 분리된 두 비디오 스트림들이 디스플레이된다. 디스플레이하는 것은 단지 예시적으로 나타낸 것임을 알아야 한다. 가능한 다른 대안들은, 가령, 메모리 장치에 두 비디오 스트림들을 저장하거나, 이들을 추가 프로세싱을 거치도록 하거나, 심지어 그 두 비디오 스트림들을 상이하게 처리 (하나는 저장하고 다른 하나는 디스플레이함)하는 것일 수 있다. 후자는 장치의 RAM 메모리에 사용자 얼굴을 보이는 비디오 스트림을 일시적으로 버퍼링하여 사용자가 자신이 그것을 저장할지 버릴지를 결정할 수 있게 하면서, 장치의 메모리 카드상에 사용자 관점에 해당하는 비디오 스트림을 리코딩하는 등의 예에 유용할 수 있다. 이것은 한 비디오 스트림만을 디스플레이할 수 있는 장치들에도 적용될 수 있으며, 이때 나머지 한 비디오 스트림은 저장되어 나중에 디스플레 이된다.

도 2는 본 발명에 따라, 모바일 전자 장치의 어플리케이션 엔진 혹은 소프트웨어 플랫폼이 통합 비디오 스트림을 어떻게 처리하는가를 보인 것이다. 통합 비디오 스트림이 비디오 스트림의 입력 인터페이스 역할을 하는 카메라 인터페이스(114)로 공급된다. 분리 유닛(118)이 통합 비디오 스트림으로부터 두 비디오 스트림들을 분리하도록 작동된다. 이 분리 유닛(118)은 일종의 전처리 유닛으로서 구현될 수 있다. 분리된 두 비디오 스트림들은 이제, 요구된 대역폭을 줄이도록 어떤 압축을 수행하는 등, 비디오 스트림들에 대해 요망되는 코딩을 수행하는 인코딩 유닛(120)으로 입력된다. 카메라 인터페이스(114)에 반드시 어떤 변경이 필요로 되지 않으므로 이렇게 비디오 스트림 처리를 수행하는 것이 바람직하다. 이것은 통합 비디오 스트림이 특히 프레임 규모 (화면 종횡비, 해상도) 및 샘플 주파수 (초당 프레임수)와 관련하여 카메라 인터페이스에 의해 처리될 수 있는 어떤 포맷을 포함하게 만든다. 이제, 이 도면에 도시된 처리 절차는, 여러 경우들에서 단지 소프트웨어를 통해서만 달성될 수 있을, 두 비디오 스트림들을 다루는 데 있어서의 작은 변화만을 필요로 하게 될 것이다. 여기 도시된 상황은 인코딩 유닛(120)이 두 비디오 스트림들을 동시에 인코딩할 수 있다는 것을 제시하고 있지만, 당연히 한번에 한 스트림만을 처리할 수 있는 인코딩 유닛 사용을 허용하는 순차적 인코딩을 구현하는 것으로서 이 분야의 당업자에게는 잘 알려져 있는 어떤 버퍼 테크닉들을 이용하는 것 역시 가능하다.

요망되는 인코딩 종류에 따라, 여기 도시된 것이 아닌 인코딩이 여전한 통합 비디오 스트림에 대해 수행될 수 있을 것이다. 오직 한 인코더만이 사용되어야 하는 것이 아닐 수 있기 때문에 이것은 당연히 바람직할 수 있다. 그러나, 여전한 통합 비디오 스트림의 인코딩이 적합하다면, 그것은 원하는 인코딩 방식의 유형뿐 아니라 통합 비디오 스트림이 오리지널 비디오 스트림들로 구성되는 방식 모두에 강력히 좌우된다.

도 3은 본 발명에 따라, 각자 연속 단일 프레임들인 1, 1', 1''와 2, 2', 2''를 포함하는 두 독립 비디오 스트림들을 단일 통합 비디오 스트림으로 병합하는 가능한 실시예를 보인 것이다. 여기서, 궁극적 비디오 스트림은 비디오 스트림 1의 연속 프레임들을 생성할 단일 비디오 스트림의 홀수 프레임들로서 사용하고, 한편 비디오 스트림 2의 프레임들이 궁극적 비디오 스트림의 짝수 프레임들에 사용함으로써 조성된다. 통합된 단일 비디오 스트림은 보통 두 오리지널 스트림들의 것보다 두 배 높은 샘플링 레이트 (시간 유닛 당 프레임)를 가질 것임을 알아야 한다. 이는 특히 병합 단계와 연계되어 필요로 될 수 있는 버퍼링 (두 카메라들과 병합 유닛 사이의 프레임 버퍼)과 관련이 있다. 그렇지 않으면 시간 단위당 두 프레임들이 들어오고 오직 하나만이 출력되면서, 통합된 한 비디오 스트림을 위해 요구될 수 있는 전치-버퍼가 채워지기 시작할 수 있다. 특별한 경우 그것을 허용하면서 그러한 방식을 이용하는 것이 유용할 수 있지만, 이때 전치 버퍼의 용량이 비디오 클립의 리코딩 타임을 제한할 것이다. 예를 들어 비디오 클립들이 MMC 카드 등과 같은 메모리 장치상에만 기록되어 나중에 디스플레이되어야 하면, 이것이 충분할지 모른다. 이 경우 버퍼 용량은 가령 전자 장치의 내장 메모리를 이용하는데 충분하도록, 메모리 카드나 장치의 소정 타입/사이즈에 대해 충분하도록 조정될 수 있다. 이 방법의 이점은, 비디오 프로세싱 하드웨어 및/또는 소프트웨어가 더블 샘플 레이트 대신 "정상적" 샘플 레이트를 가진 비디오 스트림만을 다루게 될 수 있다는 것일 수 있다.

도 4는 본 발명에 따라, 각자 연속 단일 프레임들인 1, 1', 1''와 2, 2', 2''를 포함하는 두 독립 비디오 스트림들을 단일 통합 비디오 스트림으로 병합하는 다른 가능한 실시예를 보인 것이다. 여기서, 궁극적 비디오 스트림은 상기 제1비디오 스트림에 의해 주어지는 한 프레임의 한 섹션 및 상기 제2비디오 스트림에 의해 주어지는 상기 프레임의 다른 섹션으로 조성된다. 가장 간단한 경우에서, 이것은, 동일한 화면 종횡비의 프레임들을 포함하는 두 비디오 스트림들이 수직 방향 (스트림 1은 궁극적 프레임의 상위 절반을 만들고, 스트림 2는 하위 절반을 만든다)이나 도면에 도시된 것 같은 수평방향으로 합쳐짐을 의미할 수 있다. 어떤 실행 가능성이 가장 적합한지에 대한 결정은 오리지널 비디오 스트림들의 화면 종횡비들 및 궁극적 비디오 스트림의 요망된 화면 종횡비/규모에 좌우될 것이다. 궁극적 단일 비디오 스트림은 이 실시예에서, 두 오리지널 비디오 스트림들과 동일한 샘플링 레이트를 가질 것이나, 높이나 폭이 각자 두 배가 된다. 그러나, 도시된 명확한 실현 가능 수단 외에, 더 복잡한 방법으로 프레임들을 "결합하는" 것이 적합할 수 있는 특별한 경우들이 있을 수 있다. 예를 들어, 섹션들이 심지어 부분적으로 겹쳐있을 때 한 유형의 모드가 적용될 수 있다, 즉 한 섹션이 중첩되어 있는 다른 섹션들의 일부가 버려지거나 덮어 씌어 진다는 점에서 그 한 섹션이 "선호되 는" 모드가 적용될 수 있다. 또, 궁극적 프레임들 안에 두 섹션들이 임의의 다른 적합한 기하학적 형태로 배치되는 것 역시 가능하다. 이런 식으로 병합을 행하는 데 따른 이점은 병합뿐 아니라 나중의 분리 단계 모두에서의 그 단순성에 있다. 물론 카메라 인터페이스 및 비디오 프로세싱/인코딩 파이프라인이 궁극적 프레임 사이즈 및 화면 종횡비를 처리하는데 적합해야 한다. 본 발명의 방법에 대한 이 실시예는, 분명한 선행 병합 단계 없이도 필요할 때 단일 통합 비디오 스트림을 용이하게 제공할 수 있기 때문에, 특히, 도 7에 도시된 하드웨어 구성에 적합할 것이다.

본 발명에 안에서 가능한 다른 병합 방법은, 홀수 라인들이 제1비디오 스트림에 의해 정해지도록 하고 짝수 라인들은 제2비디오 스트림에 의해 정해지게 함을로써 통합 비디오 스트림을 조성하는 단계를 포함한다. 이러한 "인터레이스드(비월 주사)" 유형의 방식에 따른 상기 병합이 본 발명의 다른 방법들과 비교할 때 더 복잡하게 보일 수 있지만, 이용가능한 프로세싱 장비나 하드웨어가 그러한 방법을 더 바람직하게 수행할 수 있게 하는 특별한 경우들이 있을 수 있다. 이것은 특히 필요로 되는 버퍼링 (특히 버퍼 사이즈) 및/또는 RAM 메모리들 등과 같은 참여한 메모리 장치들의 액세스 시간들과 관련이 있다. 여기서 이러한 인터레이스드 방식의 병합은 일어날 수 있는 어떤 타이밍 문제들을 피해 가게 도울 수 있는데, 그것은 이러한 병합이 프레임 지향 (frame-oriented) 대신 라인 지향 방식으로 수행되기 때문이다. 또 이것은, 버퍼들이 전체 프레임들을 버퍼링하기에는 너무 작지만 프레임 라인들을 버퍼링할 수는 있는 경우들에 더 잘 맞을 수 있다.

도 5는 본 발명에 따라 두 카메라들을 배치한 가능한 실시예를 도시한 것이다. 렌즈 시스템들 같은 두 개의 옵틱들(102, 104)이 갖춰진다. 옵틱들(102, 104) 사이에는 가령 CCD나 CMOS 타입의 두 이미지 센서들(106, 108)이 주어진다. 본 발명과 관련해, 두 개의 별개 이미지 캡처 센서들 대신에 어느 한 사이드에 두 광 감지 영역들과 결합 된 한 이미지 센서를 포함하는 것이 바람직할 수 있다. 상응하는 이미지 센서를 광 감지 층이 일반적인 것처럼 단 한 사이드가 아닌 양 사이드 상에 부착된 기판을 사용해 생성될 수 있다. 두 센서들의 사이드(102, 104)에 의해 캡처된 이미지들은 이제 메모리 유닛(112)과 카메라 인터페이스(114)에 연결된 병합 유닛(10)으로 보내진다. 병합 유닛(110)에서 아직 분리된 두 비디오 스트림들이, 두 오리지널 비디오 스트림들에 대한 정보를 포함하는 하나의 단일 비디오 스트림으로 병합될 것이다. 그러면 카메라 인터페이스가 전자 장치 (미도시)로 하여금 추후 프로세싱/디스플레이를 위해 그 단일 통합 비디오 스트림을 액세스할 수 있게 할 것이다. 본 발명의 큰 이점은, 이러한 인터페이스가, 수행된 병합에 의해 두 개의 독자적 스트림들이 아닌 한 개의 단일 비디오 스트림만을 처리할 수 있는 종류여도 된다는 것이다. 사전전제조건은 단지, 그것이 비디오 스트림의 실제 화면종횡비/사이즈 및/또는 샘플 레이트 (시간 당 프레임 단위)를 처리할 수 있어야 한다는 것이다. 그러나, 이것은 두 개의 독자적 비디오 스트림들을 처리하기 위해 구비되어야 하는 것보다 훨씬 더 용이하게 구현될 수 있다. 병합 유닛(110)은 옵션사항으로서 어떤 사전(pre) 처리 기능들을 역시 포함할 수 있고, 아니면 전용 사전 처리기 유닛 (미도시)이 병합 유닛(110)과 카메라 인터페이스(114) 사이에 그러 한 목적으로 삽입될 수도 있다.

도 6은 본 발명에 따른 두 카메라들의 배치에 대한 다른 실시예를 도시한 것이다. 도 5와 마찬가지로, 두 카메라 옵틱들이 가령 180도로 서로 맞대어 떨어져, 서로 다른 방향을 가리킨 채 갖춰진다. 가령, 도면에 묘사된 것과 같이, 프리즘이나 적절히 만들어진 거울 같은 광 편향 소자가 주어지고, 이때 옵틱들에 의해 보이는 이미지들은 이미지 센서(106)로 향하게 된다. 이 이미지 센서(106)의 두 섹션들 (도면에서는 점선의 분리선으로 표시됨)이 제1 및 제2옵틱으로부터 각자의 이미지들을 캡처한다. 여기 도시된 구성은, 요망되는 이미지 사이즈를 처리할 수 있다면 일반적인 타입일 수 있는 하나의 이미지 센서가 사용될 수 있다는 장점을 포함한다. 이미지 센서는 도 4와 연계해 설명한 바와 같이 하나의 비디오 스트림에 상응하는 신호를 출력한다. 이 신호는 도 5에 도시된 것과 같은 식으로 메모리 유닛(112)과 카메라 인터페이스(114)에 연결되는 병합 유닛(110)으로 출력된다. 도 5에 도시된 것과 동일한 구성요소들에 대한 더 상세한 설명은 도 5를 참조하면 된다. 그러나, 여기 도시된 실시예에서 병합 유닛(110)은 도 5의 것보다 더 간단할 수 있다는 것을 알아야 하며, 이는 두 개의 독자적 입력 신호들이없이, 도 4에 도시된 병합 방법에 거의 상응하는 한 신호만이 존재하기 때문이다. 따라서, 이러한 병합 방법을 사용할 때 병합 유닛(110)은 통합 비디오 스트림을 동출하기 위해 입력 신호를 실제로 "처리"할 필요는 없으며, 다만 매우 기본적인 신호 변환만을 수행할 것이다. 그러나, 병합 유닛(110)은 당연히 필요한 경우 본 발명에 따른 다른 병합 방법들을 사용해 작동될 수도 있다.

도 7은 본 발명에 따른 두 카메라들의 구성으로 된 또 다른 실시예를 도시한 것이다. 각자 옵틱 및 이미지 센서를 구비하는 두 카메라 모듈들이 서로에 대해 가령 180도로 지향되어 있고, 즉 "맞대어 (back to back)" 있고, 서로 다른 방향을 가리키면서, 하우징(10) 안에 갖춰지게 된다. 각 모듈은 비디오 스트림을 캡처하므로, 두 비디오 스트림들이, 메모리 유닛(112)과 카메라 인터페이스(114)에 연결되어 있는 병합 유닛(110)으로 출력된다. 뒤의 세 구성요소들은 이미 앞에서 설명하였다. 여기 도시된 배치는 두 개의 온전한 카메라 모듈들, 즉 두 개의 온전한 옵틱 및 이미지 센서 세트들을 필요로 하지만, 이 실시예는 해당하는 통상적 유닛들에 의존할 수 있다.

도 8은 본 발명에 따른 두 카메라 솔루션에 대한 실시예를 도시한 것이다. 리트랙터블 (신축성의) 경첩모양 (hinge-like) 요소(8)가 모바일 전자 장치(8)의 하우징 안에 갖춰진다. 경첩 요소(8) 안에 두 카메라들(102, 104)이 정렬된다 (여기서 카메라(104)는 카메라(102)의 방향과 반대 반향을 가리키나 이것은 이 도면에서 보이고 있지 않다). 경첩 요소는 사용자가 카메라들을 사용하고 싶어하지 않을 때 안으로 접혀질 수 있다. 이렇게 하면, 카메라들(102, 104), 특히 렌즈들이 먼지와 흠집으로부터 보호될 수 있다. 또, 해당 장치가 더 컴팩트해 질 수 있고, 아무 돌출 부분도 보이지 않기 때문에 "더 부드러운" 외관을 갖추게 된다. 경첩 요소(8) 상에, 작동 스위치 (미도시)가 갖춰질 수 있다. 이 스위치는 가령 카메라 하드웨어를 구동시키거나 거기에 전력을 공급하고, 전자 장치 안에서 카메라 어플리케이션을 자동으로 초기화하고/거나 경첩 요소(8)가 닫힐 때 카메라 어플리케이 션을 종료시키는 데 사용될 수 있다. 비디오 클립 리코딩이나 촬영 어플리케이션 같은 각개의 카메라 어플리케이션에 대한 자동 구동이 사용자로 하여금 바로 사진을 찍거나 비디오를 녹화하기 편리하게 하게 할 수 있다.

상술한 설명이 두 개의 카메라 및 그에 따른 두 비디오 스트림들을 사용하는 전형적 사용 케이스에 초점을 맞추었지만, 본 발명의 개념은 훨씬 더 많은 수의 카메라들과 비디오 스트림들에 대해서도 당연히 적용될 수 있다는 것을 알아야 한다.

Claims (21)

1. 전자 장치에서 둘 이상의 카메라들의 비디오 스트림들을 처리하는 방법에 있어서,

   - 제1 및 제2카메라들을 통해 적어도 제1 및 제2비디오 스트림들을 캡처하는 단계, 및

   - 상기 제1 및 제2비디오 스트림들을 한 통합 비디오 스트림으로 병합하는 단계를 포함하고,

   상기 병합하는 단계는,

   - 상기 통합된 비디오 스트림의 샘플링 레이트가 상기 적어도 제1 및 제2비디오 스트림들의 개수에 대응하도록, 통합 비디오 스트림을 생성[상기 통합 비디오 스트림의 프레임들이, 상기 적어도 제1 및 제2비디오 스트림 각자의 프레임들로서 번갈아 주어짐]하는 단계로서 수행됨을 특징으로 하는 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,

   - 상기 통합 비디오 스트림을 처리하는 단계를 더 포함함을 특징으로 하는 방법.
7. 제1항에 있어서,

   - 상기 통합 비디오 스트림을 상기 제1 및 제2 비디오 스트림들에 각자 대응하는 제1 및 제2출력 비디오 스트림들로 분리하여, 상기 제1 및 제2출력 비디오 스트림들이 추후 프로세싱, 저장 또는 디스플레이에 이용될 수 있게 만드는 단계를 더 포함함을 특징으로 하는 방법.
8. 컴퓨터나 네트워크 장치상에서 실행될 때, 제1항의 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 매체.
9. 삭제
10. 삭제
11. 전자 장치에 있어서,

    - 적어도 제1 및 제2 광학 렌즈들;

    - 각기 상기 제1 광학 렌즈와 결부되고 상기 제2 광학 렌즈와 결부되어, 각기 적어도 제1 및 제2 비디오 스트림들을 캡처하도록 된 적어도 제1 및 제2이미지 센서들; 및

    - 상기 적어도 제1 및 제2비디오 스트림들의 통합 비디오 스트림을 생성하도록 된 비디오 병합 유닛을 포함하고,

    상기 비디오 병합 유닛은,

    - 상기 통합된 비디오 스트림의 샘플링 레이트가 상기 적어도 제1 및 제2비디오 스트림들의 개수에 대응하도록, 상기 통합 비디오 스트림의 프레임들이 상기 적어도 제1 및 제2비디오 스트림 각자의 프레임들로서 번갈아 주어지도록 상기 통합 비디오 스트림을 생성하도록 구성됨을 특징으로 하는 전자 장치.
12. 삭제
13. 삭제
14. 삭제
15. 제11항에 있어서,

    상기 통합 비디오 스트림을 처리하도록 구성된 비디오 처리 유닛을 더 포함함을 특징으로 하는 전자 장치.
16. 제11항에 있어서,

    상기 전자 장치의 어플리케이션 엔진에 의한 상기 통합 비디오 스트림 액세스를 가능하게 하는 카메라 인터페이스를 더 포함함을 특징으로 하는 전자 장치.
17. 제11항에 있어서,

    - 상기 통합 비디오 스트림을 상기 제1 및 제2비디오 스트림들에 각자 대응하는 제1 및 제2출력 비디오 스트림들로 분리하여, 상기 제1 및 제2출력 비디오 스트림들이 추후 프로세싱, 저장 또는 디스플레이에 이용될 수 있게 만드는 비디오 분리 유닛을 더 포함함을 특징으로 하는 전자 장치.
18. 제11항 또는 제15항에 있어서, 상기 제1 및 제2 이미지 센서들은 통합 이미지 센서로 결합 됨을 특징으로 하는 전자 장치.
19. 제11항 또는 제15항에 있어서,

    상기 제1 및 상기 제2 광학 렌즈들에 의해 보이는 뷰(view)들을 각자 상기 제1 및 상기 제2 이미지 센서로 향하게 하는 편향 소자를 더 포함함을 특징으로 하는 전자 장치.
20. 제11항에 있어서,

    하우징을 더 포함하고, 상기 제1 및 제2 광학 렌즈들은 적어도 제1 및 제2자세로 세팅 가능한 리트랙터블 소자 안에 병합되고, 상기 광학 렌즈들은 적어도 부분적으로 상기 하우징 안에 상기 제2자세로 들어가고 상기 제1자세로 작동할 수 있음을 특징으로 하는 전자 장치.
21. 제20항에 있어서,

    상기 리트랙터블 소자가 상기 제1자세로 세팅될 때 또는 상기 리트랙터블 소자가 상기 제2자세로 세팅될 때 작동되도록 구성된 스위치를 더 포함함을 특징으로 하는 전자 장치.

Images