KR20020008191A

KR20020008191A - 핸즈-프리 홈 비디오 제작 캠코더

Info

Publication number: KR20020008191A
Application number: KR1020017014729A
Authority: KR
Inventors: 미-수엔 리
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2000-03-21
Filing date: 2001-03-12
Publication date: 2002-01-29
Also published as: WO2001072034A1; JP2003528548A; EP1269746A1; CN1381131A

Abstract

휴대용 카메라 제어 시스템은 카메라의 방위를 제어하기 위해 이미지 및 오디오 콘텐트 정보를 사용한다. 바람직한 실시예에서, 모듈라(modular) 및 휴대용 팬-틸트(pan-tilt) 장치가 제공되어, 종래의 캠코더를 수신하도록 구성된다. 제어 시스템은 캠코더로부터 오디오 및 비디오 정보를 수신하여, 상기 팬-틸트 장치에 팬 및 틸트 명령을 제공하여, 캠코더를 적당히 방위 맞춘다. 만약 캠코더가 제어 가능한 줌(zoom)을 가진다면, 상기 제어기 또한 줌 명령을 제공하여 캠코더의 시야(field)를 조정하여 이미지를 적절히 프레임 맞추는데, 이를 상기 이미지 및/또는 오디오 콘텐트의 분석에 기초를 둔다. 바람직한 시스템은 카메라의 원격 및 직접적인 제어를 원하는대로 하게 해주며, 이미지 콘텐트에 기초하여 자동-추적(auto-tracking)을 제공하도록 구성될 수 있다. 상기 카메라 제어 시스템은 또한, 숙련된 카메라-작동자의 기술과 일치하게 카메라의 제어를 규율하는 하나 이상의 지식 기반 시스템 및 학습 시스템을 포함한다.

Description

핸즈-프리 홈 비디오 제작 캠코더{HANDS-FREE HOME VIDEO PRODUCTION CAMCORDER}

팬(pan)/틸트(tilt)/줌(zoom) 카메라의 원격 제어를 포함하는 제작 비디오 리코딩 시스템이 이용 가능하여, 사용자/작동자가 캡쳐된 카메라 이미지 안에도 출연하면서 자유롭게 카메라를 제어하도록 한다. 전형적인 제작에 있어서, 사용자는 리코딩되고 있는 이벤트에 대하여 "나레이터"가 되며, 원하는 장면으로 포인트 맞추기 위해 카메라의 방향을 재설정하도록 원격 제어기를 이용한다. 이러한 방법으로, 사용자는 카메라를 작동시키는 제 2의 다른 사람 도움 없이 비디오 리코딩을 해낼 수 있다.

미국 특허 제 5,432,597호이며, 1995년 7월 11일에 허여된 "원격-제어 유닛을 추적하고 카메라를 위치시켜 작동시키기 위한 원격 제어 추적 시스템 및 방법"에는 원격 제어 카메라 시스템이 개시되어 있는데, 이 역시 추적 성능을 포함하며, 본 명세서에서 참조로써 포함되어 있다. 상기 참조로 한 특허는 한 영역에 미치는 적외선 방출기(infrared emitter)와, 적외선 신호가 수신될 때 카메라 제어기에게신호를 보내는 나레이터와 결합된 적외선 검출기를 개시한다. 상기 적외선 검출기는 원격 제어 디바이스에 포함될 수 있는데, 상기 원격 제어 디바이스는 나레이터가 카메라를 제어하는데 사용하거나 나레이터가 지니고 있을 수 있다. 상기 카메라 제어 시스템이 추적 모드로 전환되면, 카메라는 지속적으로 조정되어, 그것의 시야가, 상기 적외선 검출기의 위치와 대응하는 시야 선을 따라간다. 카메라 방위의 변화 속도는 제한될 수 있으며, 그 제어는 추적 신호 발신의 상실(loss)의 잠정적인 기간(interim periods) 동안 변화의 속도 및 방향을 유지하도록 구성될 수 있다. 상기 참조한 특허는 또한, 원격 제어 명령 또는 자동 시퀀스를 사용해서, 이전의 시야로 되돌아가도록 카메라 세팅을 저장하고 검색하는 성능을 개시한다. 1995년 6월 19일에 출원된 일본 특허 JP 09009365 A의, "원격 제어기 및 이미지 픽업 시스템"은 원격 제어 디바이스 안에 모션(motion) 검출기를 포함하고 상기 검출된 모션에 대응하는 카메라 방위 명령을 제공하는 원격 제어 시스템을 개시한다.

이들 종래 기술의 디바이스 각각은 단일 인물, 즉 원격 제어 디바이스를 들고 있는 인물이 리코딩의 주 객체이거나 리코딩될 시야를 결정하는 주 감독자라는 전제에 기초하여 작동한다. 이는 그러한 인물이 지정되어야 함을 필요로 하며, 리코딩을 감독하기(direct) 위해 상기 인물이 신중히 주의해야 함을 요한다. 비록 주 나레이터 또는 주 감독자를 구비하는 것이 프로페셔날 또는 반(semi)프로페셔날한 리코딩에 대해서는 극히 일반적인 일이지만, 무인(UN-attended) 리코딩이 바람직할 경우가 다수 있다. 예를 들면, 가족 축하 잔치에서, 이벤트를 리코딩하도록 선정된 인물은 그 축하 파티에 자유롭게 참가할 수 없거나, 그 리코딩을 적절히 감독할 수가 없는데, 그 이유는 축하 파티 참석자와 카메라 감독자 사이에서의 역할 분담 때문이다. 덧붙여, 카메라 감독자로 선정된 인물은 당업자가 아닐 수 있으므로, 그 결과 리코딩된 이미지가 이벤트를 적절하게 캡쳐하지 않을 수 있어서, 실제로 시청하기에 불편함이 있을 수 있는데, 이는 고속의 카메라 움직임과, 장면의 변화 등의 이유 때문이다. 게다가, 특정 상황, 이를테면 결혼 축하 파티에서, 카메라 작동자가 이리 저리 움직이면 어수선할 수 있다.

본 발명은 비디오 시스템의 분야(field)에 관한 것으로, 구체적으로는 핸즈-프리 비디오 리코딩을 용이하게 하기 위한 캠코더의 제어에 관한 것이다.

도 1은 본 발명에 따른 카메라 제어 시스템의 예시적 블록도.

도 2는 본 발명에 따른 카메라 제어 시스템의 예시적 흐름도.

상기 도면 전체에 걸쳐, 같은 참조 번호는 유사하거나 일치하는 특성 또는 기능을 표시한다.

본 발명의 목적은 리코딩 시스템의 무인(unattended) 작동을 용이하게 해주는 카메라 자동 시스템을 제공하는 것이다. 본 발명의 추가 목적은 숙련된 카메라 작동자에게 알려진 리코딩 기술과 일치하도록 카메라를 제어하는 카메라 제어 시스템을 제공하는 것이다. 본 발명의 추가 목적은 시야와 이미지 변화를 여전히 허용하면서 이벤트를 리코딩하는 무난한(unobtrusive) 수단을 제공하는 것이다.

이러한 그리고 이와 다른 목적은 카메라의 방위를 제어하기 위해 이미지 및 오디오 콘텐트 정보를 사용하는 카메라 제어 시스템을 제공함으로써 이루어진다. 바람직한 실시예에는, 모듈라 및 휴대용 팬-틸트 장치가 제공되는데, 이는 종래의 캠코더를 수용하도록 구성된다. 제어 시스템은 캠코더로부터 오디오 및 비디오 정보를 수신하고, 상기 카메라를 적당히 방위 맞추기 위해 팬-틸트 장치에 팬 및 틸트 명령을 제공한다. 만약 캠코더가 제어 가능한 줌을 구비한다면, 제어기 또한 줌 명령을 제공하여, 이미지 및/또는 오디오 콘텐트의 분석에 기초해서, 이미지를 적절히 프레임 맞추기 위해 카메라의 시야를 조정한다. 바람직한 시스템은 카메라의원격 및 직접적인 제어를 원하는대로 하게 해주며, 이미지 콘텐트에 기초하여 자동-추적을 제공하도록 구성될 수 있다. 또한, 카메라 제어 시스템은 하나 이상의 지식-기반 시스템 및 숙련된 카메라-작동자 기술과 일치하도록 카메라 제어를 조정하는 학습 시스템을 포함한다.

본 발명은 첨부된 도면을 참조하여, 예를 통해 더 상세히 설명된다.

도 1은 본 발명에 따른 카메라 제어 시스템(100)의 예시적 블록도를 예시한 것이다. 상기 카메라 제어 시스템(100)은 카메라(110)의 방위를 제어하도록 구성된 베이스 유닛(130)을 포함하는데, 이는 시야 제어기(170)로부터 수신된 명령에 기초한다. 종래의 카메라 제어 시스템과 같이, 원격 제어 디바이스(180)는 카메라의 방위를 제어하기 위해 사용자로 하여금 시야 제어기에 명령을 직접 전달하게 해준다. 바람직한 실시예에서, 베이스 유닛(130)은 카메라(110)가 각각 수직(틸트) 및 수평(팬)으로 회전하게 해주거나 이를 조합해서 회전하게 해주도록 구성되어, 원하는 대로 방위 맞출 수 있게 한다. 이러한 방위의 변화는 원하는 회전 평면을 통해 카메라의 회전에 영향을 끼치는 모터에 동작(activation) 명령을 전달함으로써 이루어진다. 만약 카메라(110)가 제어 가능 및 조정 가능한 줌을 구비한다면, 제어기(170)는 줌-인 및 줌-아웃 동작 명령으로 필요한 만큼 카메라(110)의 촛점 거리를 조정할 수 있어서, 원하는 시야를 얻는다. 즉, 카메라의 시야는 팬 및 틸트 제어에 의해 조정된 카메라(110)의 시선, 그리고 줌 제어로써 제공된 배율(magnification)에 의해 한정된다.

본 발명에 따라, 카메라 제어 시스템(100)은 이미지 처리 시스템(150) 및/또는 오디오 처리 시스템(160) 역시 포함한다. 상기 이미지 처리 시스템(150)과 오디오 처리 시스템(160)은 카메라(110)에서 온 이미지 또는 오디오 정보에 포함된 정보에 기초하여 카메라(110)를 제어하도록 시야 제어기(170)에 파라미터를 제공함으로써 카메라(110)의 무인 제어를 용이하게 한다. 바람직한 실시예에서, 이러한 무인 제어는 카메라의 뷰-파인더(view-finder)를 통해 장면을 시청하는 동안 수신된 이미지 및 사운드에 기초하여, 인간 카메라 작동자가 수행할 수도 있는 작동들을 대행한다(emulate). 예를 들어, 인간 카메라 작동자는 전형적으로, 그룹 장면을 캡쳐하기 위해 줌-아웃을, 단독 화자(solo speakers)를 캡쳐하기 위해 줌-인을, 선택된 개인 또는 그룹을 따라가기 위해서는 팬(pan)을 하는 등이다. 숙련된 카메라 작동자는 갑작스런 카메라 움직임을 피해가며, 전후방 카메라 움직임을 최소화시키기 위해 줌-아웃을 실행하며, 열등한 품질의 리코딩 가운데 우수한 비디오 리코딩을 구별하게 하는, 시각적으로 어필되는 결과를 이끌어내는 다른 기술을 실행한다.

이미지 처리 시스템(150)은 카메라(110)로부터의 이미지를 분석하여 제어기(170)에 이미지 정보 파라미터를 제공한다. 이들 파라미터는 제어기(170) 내에서 사용된 알고리즘의 정보 요건에 따를 것이다. 바람직한 실시예에서 제어기(170)는, 예를 들면, 형상(figure)을 목표로 정하여 추적하는 시스템을 포함하는데, 상기 시스템은 베이스 유닛(130)과 카메라(110)에 명령을 하달하여, 목표 형상을 카메라의 시야 내에 끼워 넣는다. 그러한 목표화 및 추적 기능을 실행하기 위해, 제어기(170)는 카메라의 시야 내에서, 각 형상 또는 각 주요 형상의 위치 및 크기에 대한 결정을 요구한다. 이러한 시스템에서의 이미지 처리 시스템(150)은 예를 들면, 피부톤 식별 처리 등을 이용하여, 카메라(110)로부터의 이미지 내의 각 형상을 식별하여, 그 위치 및 크기 파라미터를 제어기(170)에 제공한다. 이미지 처리 기술은 계속 진전하고 있으며, 이미지 처리 시스템(150) 역시 다른 관련 이미지 정보, 이를 테면 각 형상의 추정 "세계(world)" 좌표, 각 형상의 추정 물리적 크기, 각 움직이는 형상의 추정 속도, 및 다른 추정을, 제어기(170)의 알고리즘이 요구하는 바와 같이 제공하도록 구성된다.

비록 이해하기 쉽도록 별도의 구성품을 포함하고 있는 것으로 예시되었지만, 카메라 제어 시스템(100)의 바람직한 실시예는 휴대용 유닛으로서, 베이스 유닛(130), 이미지 처리 시스템(150), 오디오 처리 시스템(160), 및 시야 제어기(170)를 포함한다. 이러한 휴대용 유닛은 종래의 캠코더가 그 위에 장착될 수 있는 카메라 "악세사리"로 구성된다. 만약 캠코더가 스테레오 오디오 시스템을 포함하지 않는다면, 또는 만약 캠코더의 오디오 시스템에 의해 제공된 판별(discrimination)이 아래에 설명되는 바와 같이, 사운드 분리(sound isolation) 및 위치 파악(locating)에 충분하지 않은 것으로 밝혀진다면, 모듈라오디오 시스템(120)이 제공되는데, 이는 마찬가지로 베이스 유닛(130)에 장착될 수 있다. 이러한 휴대용 유닛을 제공함으로써, 사용자는 임의의 편리한 위치에 상기 유닛을 위치시킬 수 있으며, 이러한 위치로써 제공된 잠재적(potential) 시야 내에서 이벤트의 무인 리코딩을 개시할 수 있다.

당업자에게는 자명하겠지만, 형상의 식별 외에, 다른 이미지 정보가 이미지 처리 시스템(150)에 의해 제공될 수 있다. 예를 들면, 무인 홈 비디오 리코딩을 위해 구성된 시스템에서, 상기 이미지 처리 시스템(150)은 식탁, 좌석 배치, 및 다른 공동 초점에 대한 위치를 구별하여 보고하도록 구성될 수 있다. 유사한 방식으로, 특별한 이벤트에 대해 무인 리코딩 용으로 구성된 시스템, 즉 이미지 처리 시스템(150)은 차별적인 아이템, 이를테면 축구 경기를 리코딩할 때에는 피부색 대신에 축구 유니폼을, 개 쇼를 리코딩할 때에는 사람 형상에 부가하여 또는 그것 대신에 개를, 요트 경주를 리코딩할 때에는 돛의 모양 등의 위치를 인식하여 보고하도록 구성될 수 있다.

본 발명의 바람직한 실시예에서, 이미지 처리 시스템(150)은 카메라의 시야 내에서 복수의 미리 한정된 시각적인 제스쳐를 하나 이상 인식하도록 구성된 제스쳐 인식 시스템을 포함한다. 이러한 제스쳐 인식은 오디오 처리 시스템과 함께 작동할 수 있어서, 사용자가 음성 키워드, 이를테면 "카메라!"를 통해 제스쳐 인식 처리를 개시하고, 그리고 나서 카메라가 팬 할 방향을 지적하거나, 카메라가 추적할 개인을 지적하거나, 카메라로 하여금 약간의 다른 액션을 개시 또는 종료시키도록 하는 제스쳐를 제공하게 한다. 제스쳐의 인식 후, 이미지 처리 시스템(150)은제어기(170)에 정보 파라미터를 제공하여, 특정 제스쳐에 대응하는 적당한 액션을 실행한다. 당업자에게는 자명하겠지만, 상기 이미지 처리 시스템은 또한, 적당한 액션을 직접 실행하여, 상기 인식한 제스쳐에 응답해서 카메라 제어 시스템(100) 안의 임의 또는 모든 구성품을 제어하도록 구성될 수 있다. 대안으로, 시야 제어기(170), 또는 다른 처리 디바이스는 제스쳐 인식 기능을 제공할 수 있으며, 이미지 처리 시스템(150)은 선택된 신체의 일부분, 이를테면 손과 팔에 대한 위치를 단순히 구별해서 제스쳐 인식 제어를 위해 적당한 디바이스에 보고할 수 있다.

오디오 처리 시스템(160)은 오디오 시스템(120)으로부터 수신된 오디오 신호에 기초하여, 이미지 처리 시스템(150)과 유사한 판별 및 위치 파악 기능을 수행한다. 오디오 시스템(120)은 카메라(110) 또는 베이스 유닛(130)과 일체가 될 수 있거나, 베이스 유닛(130)에 부착된 별도의 구성품으로 될 수 있다. 바람직하게는, 오디오 시스템은 두 개 이상의 마이크로폰(122,124)을 포함하여, 사운드 소스의 위치가 당 기술에서 일반적인 차동 볼륨 및 위상 분석 기술을 통해 결정될 수 있도록 한다. 복수의 동시 사운드 소스를 구별하고 위치 파악을 하기 위해 처리 시스템(160)에 의해 사용된 사운드 소스 판별 기술 역시 당 기술에서는 일반적인 것이다. 관련된 파라미터는, 이를테면, 수신된 볼륨 레벨, 각 소스의 "세계" 좌표, 움직이는 사운드 소스의 속도 비율, 및 시야 제어기(170)가 카메라(110)에 대한 적당한 후속 시야를 결정하는데 사용하는 다른 오디오 정보 파라미터가 있다.

본 발명의 바람직한 실시예에서, 오디오 처리 시스템(160)은 오디오 신호 내의 복수의 미리 한정된 음성(speech) 패턴을 하나 이상 인식하도록 구성된 음성 인식 시스템을 포함한다. 상기 언급된 바와 같이, 오디오 처리 시스템(160)은 개시 키워드, 이를테면, "카메라!"를 인식하고, 이에 응답하여, 이미지 처리 시스템(150)에 신호를 제공해서 앞서 언급한 제스쳐 인식 처리를 개시하도록 구성될 수 있다. 동시에, 이러한 키워드는 다른 키워드, 이를테면, "좌측", "우측", "줌-인", "줌-아웃", "추적", "종료", 등의 인식을 개시할 수 있다. 이러한 인식 처리는 인식된 키워드를 포함하지 않은 미리 결정된 구간 이후에는 자동적으로 종료된다. 이러한 제어된 개시 및 종료 처리가 채택되어, 제어 시스템(100)이 수신된 음성 신호에서 키워드의 무작위(random) 발생에 의해 부주의하게 "제어"되지 않도록 한다. 상기 음성 인식 처리는 오디오 처리 시스템과 시야 제어기 사이에서 구분될 수 있어서, 종래의 음성 처리 디바이스가 오디오 처리 시스템(160)에 채택될 수 있도록 하고, 카메라 제어 시스템(100)의 제어에 특수한 키워드 인식 처리가 제어기(170)에 채택될 수 있도록 한다. 이러한 실시예에서, 상기 오디오 처리 시스템은 수신된 음성 신호의 "전사(transcript)"를 제어기(170)에 지속적으로 제공하며, 제어기(170)는 상기 전사 내에서 키워드 절(phrase)을 수신하자 마자 키워드 인식 처리를 개시 및 제어한다. 상기 음성 인식 시스템은 카메라 시스템(100)의 제어에 대한 사용자 지시 처리를 더 용이하게 하도록, 제스쳐 인식 시스템과 연계하거나 그것과 무관하게 사용될 수 있다.

시야 제어기(170)는 이미지 처리 시스템(150)으로부터의 이미지 정보 파라미터와 오디오 처리 시스템(160)으로부터의 오디오 정보 파라미터를 사용하여, 이들 정보 파라미터에 기초해서 방위 또는 원근(perspective)의 변화가 적당한 지의 여부를 결정한다. 도 2는 본 발명에 따른 카메라 제어 시스템의 예시적 흐름도를 예시한 것이다. 상기 흐름도는 예시용으로 제공된 것으로, 본 개시의 관점에서 당기술자가 포함시킬 수 있는 특성의 완전한 표현인 것으로 의도되지는 않았다. 예시된 것은, 두 개의 병렬 처리를 포함한 연속 처리, 즉 이미지 정보 처리(220-228)와 오디오 정보 처리(240-246)이다.

상기 처리는 210에서 시작하는데, 이미지와 사운드를 제공하는 카메라를 방위 맞추고, 상기 이미지와 사운드는 각각 220 및 240에서 이미지 정보 및 오디오 정보로 변환된다. 이미지 정보는 222에서, 개별 형상 및 클러스터 형상을 식별하도록 처리된다. 예를 들면, 도 1의 이미지 처리 시스템(150)은 현재 이미지 내의 각 형상과 관련된 파라미터를 제공하며, 제어기(170)는 다른 형상과 관련된 형상의 위치에 기초하여 이들 파라미터를 처리해서 중요 형상을 식별하고, 서로에 대한 공간 관련성에 기초하여 클러스터의 형상을 식별한다. 도 2에 예시되지는 않았지만, 상기 중요 형상 및 클러스터링 처리(222)는 식별 처리를 용이하게 하기 위해, 아래에 설명되는 오디오 정보 및 화자 식별자를 사용할 수 있다. 상기 논의한 바와 같이, 오디오 처리 과정은 이미지 처리 시스템에서 제스쳐 인식 처리를 개시하는 키워드 인식 처리 또한 제공할 수 있다. 만약 명령 제스쳐가 224에서 검출된다면, 적당한 명령이 254에서 실행되는데, 직접적으로 또는 250에서 새로운 방위 파라미터의 결정을 통해 실행된다. 동시에, 오디오 정보가 처리되어 주요 화자를 식별하는데, 이는 다른 화자와 관계가 있는 화자 일 인으로부터의 오디오 정보에 기초하며, 224에서 다른 화자나 클러스터의 화자를 식별한다. 만약 상술한 바와 같이, 음성 명령이244에서 주어진다면, 254에서 명령이 실행되는데, 직접적으로 또는 250에서 새로운 방위 파라미터의 결정을 통해서 이루어진다. 참조의 편이를 위해, 본 명세서에서 사용된 용어 "방위"는 원하는 시야를 실행하기 위한 팬, 틸트, 또는 세팅의 제어를 포함한다.

만약 224에서 명령 제스쳐가 주어지지 않으면, 이미지 정보 처리는 226으로 진행한다. 만약 226에서, 클러스터의 형상이 이미지 내에서 식별되지 않았으면, 팬이 개시되거나 지속되어, 226에서 형상을 포함한 이미지를 찾는다. 이러한 개시의 목적을 위해, 클러스터는 카메라 시야 내에서 단일 및 복수의 형상 모두를 포함한다. 226에서 팬 처리는 바람직한 팬 방향을 결정하기 위해 상기 처리된 오디오 정보 및 화자 식별을 사용한다. 즉, 예를 들면, 만약 카메라의 우측 영역에서 음성이 검출된다고 오디오 정보가 표시한다면, 256에서, 팬은 카메라를 우측으로 돌리는 것을 개시한다. 예시되지는 않았지만, 만약 카메라의 틸트가 256에서 팬이 형상 검출에 적당하지 않게 카메라를 방위 맞추도록 한다면, 틸트는 자동적으로 조정되어, 실질적인(substantially) 레벨의 시야로 상기 영역에 미치는 팬 작동을 제공한다. 만약 228에서, 복수 개의 클러스터 형상이 위치한다면, 어느 클러스터를 초점 클러스터로 선택할 것인지를 결정하기 위해 이미지 및 오디오 정보가 사용된다. 예를 들면, 만약 하나의 클러스터가 특별히 활동적이거나 특별히 소란스럽다면, 이러한 클러스터가 초점 클러스터로 선택되는 것이 바람직할 것이다. 당기술에서 일반적인 기술, 이를테면 가중된 샘플링과 같은 기술을 사용하면, 각 클러스터가 선택될 가능성은 다양한 인자, 이를테면, 오디오 볼륨, 동작 레벨, 이러한 클러스터가 마지막으로 선택된 이후의 시간, 형상이 중심점으로 모두 방위 맞춰졌는지의 여부 등에 의존하도록 될 수 있다. 만약 228에서, 단일 클러스터가 위치해 있다면, 클러스터 선택은 요구되지 않는다.

259에서, 선택한 클러스터, 또는 단일의 클러스터는 이러한 클러스터와 결합된 이미지 및 오디오 정보를 사용하여 "프레임 맞춰진다". 예를 들어, 처음에 전체 클러스터는 카메라의 시야 내에 센터링될 것이다. 그리고 나서, 만약 사운드가 클러스터 내의 특정 지점으로부터 나온다면, 카메라 방위는 그 사운드를 향하여 조정되며, 시야는 지배 사운드 소스를 에워싸는 영역(region)을 확대시키기 위해 좁아진다. 본 발명의 바람직한 실시예에서, 방향성(directional) 마이크로폰 또한 채택되는데, 이는 줌 세팅과 협력하여 오디오 수신 필드를 넓게도 좁게도 해준다. 만약 클러스터 내에 단일의 사운드 소스가 있다면, 상기 사운드 소스와 대응하는 형상은 설정되어 있는 이미지 프레임 맞추는 기술을 사용하여 프레임 맞춰진다. 예를 들어, 단독(solo) 화자는 이미지가 상체 부분 즉 머리 전체와 머리 장식, 및 머리 위의 공간을 함께 포함하도록 프레임 맞춰지는 것이 바람직하다. 만약 사운드가 형상에서 형상으로 이동한다면, 시야는 넓어지고 센터링되어, 말하고 있는 형상 모두를 포함하게 한다.

클러스터 및 형상을 프레임 맞추기 위한 규칙이나 지시 사항은 도 1에 예시된, 지식-기반 시스템(175)에 저장되는 것이 바람직하다. 바람직한 실시예에서, 상기 지식-기반 시스템(175)은 기존의 지식-기반 및 다른 인자에 기초하여 제어기(170)에 의해 취해진 개별 액션의 적당함에 관해서는 사용자로부터의 피드백을 수반하는 이전의 리코딩 재생(playback)을 통하여, 그러한 규칙을 업데이트시키는 학습 시스템 또한 포함한다. 화자에 얼마나 오랫동안 줌-인 상태를 계속해야 하는지, 일 클러스터를 얼마나 오랫동안 선택한 클러스터로서 유지시켜야 하는지 등에 관한 지시 및 규칙 또한 바람직한 지식 기반 시스템에 포함된다. 규칙은 또한 초점의 변화를 제어하도록 제공된다. 예를 들면, 클러스터의 변화 전에 카메라가 완전히 줌-아웃되는 것을 요구하는, 또는 그러한 변화에 대해 페이드(fade)가 도입되는 것을 요구하는 규칙이 제공될 수 있다. 유사한 방식으로, 미리 결정된 시간 기간 이후, 또는 특정한 비동작 기간 이후, 등의 이후에 이미지의 리코딩을 종료시키는 규칙이 제공될 수 있다. 유사하게, 리코딩은 제어 시스템이 다른 클러스터, 다른 유력한 화자 등을 위치 파악하기 위해 팬 하는 동안 일시적으로 보류될 수 있다. 바람직한 실시예에서, 사용자 제어는 서로 다른 타입의 이벤트에 대해 특별한 규칙 세트를 도입하기(invoke) 위해 제공된다. 예를 들어, 특별한 타입의 스포츠 이벤트를 리코딩하기 위해 생성되는 규칙 세트, 홈 파티를 리코딩하기 위한 또 다른 규칙 세트, 연극 공연을 리코딩하기 위한 또 다른 규칙 세트 등이 존재할 수 있다.

상기 언급한 바와 같이, 도 1의 제어기(170)의 바람직한 실시예는 이미지 추적 성능 또한 포함한다. 이미지 및 오디오 정보에 기초하여 카메라의 시야의 중앙 부분에 유력한 화자를 유지시키는 것에 덧붙여, 제어기(170)는 추적 모드로 세팅될 수 있는데, 여기서 식별된 형상은 계속 추적되며, 이는 추적 기간 동안에 다른 형상이나 사운드가 발생하는 것과는 무관하다. 즉, 예를 들면, 만약 사용자가 특별한이벤트를 위해 나레이터의 역할을 수행하기 원한다면, 사용자는 제어 시스템(100)을 추적 모드에 놓아서, 자신을 추적 타깃으로 식별시킬 수 있다. 그리고 나서, 사용자는 다른 위치로 원하는 만큼 이동할 수 있고, 다른 지시가 없을 경우, 카메라의 시야는 사용자가 각 이미지 내에 있도록 자동적으로 조정된다. 상술한 바와 같이, 추적에 대한 명령이나 카메라에 대한 다른 지시는 키워드나 제스쳐, 또는 종래의 원격 제어 디바이스를 통해 전달될 수 있다. 바람직한 실시예에서 앞서 언급한 규칙 세트는 서로 다른 추적 모드를 위한 옵션 또한 포함한다. 예를 들어, 나레이터 모드에서, 프레임 맞추는 규칙은 나레이터를 캡쳐된 이미지 프레임의 한쪽 또는 다른 쪽으로 떨어져 위치시키도록 카메라 방위을 감독할 수 있다. 다른 추적 모드에서, 규칙은, 추적된 형상을 캡쳐된 이미지 프레임 내의 중앙에 계속 위치시키도록 카메라 방위를 감독할 수 있다.

명령 블록(254), 팬 블록(256), 또는 프레임 맞추는 블록(259)으로부터의 적당한 방위 요건은 250에서 처리되어, 원하는 카메라 시야를 얻기 위해 필요한 카메라 및 베이스 유닛 방위 파라미터를 결정한다. 이들 파라미터는 210에서, 카메라를 방위 맞추는데 사용된다.

전술한 내용은 다만 본 발명의 원리만을 예시하여 준다. 따라서, 당업자가 다양한 배열(arrangements)- 그것이 비록 본 명세서에 명료하게 설명 또는 도시되지는 않았더라도 본 발명의 원리를 포함하고 따라서 다음의 청구항의 사상 및 범위 내에 있는-을 고안할 수 있으리라고 판단된다.

본 발명은 비디오 시스템의 분야, 구체적으로는 핸즈-프리 비디오 리코딩을 용이하게 하기 위한 캠코더의 제어에 이용된다.

Claims

카메라(110)의 시야(field of view)를 제어하기 위한 휴대용 카메라 제어 시스템(100)으로서,

상기 카메라(110)의 상기 시야에 대응하는 상기 카메라(110)로부터의 이미지를 수신 및 처리하여 그로부터 이미지 정보 파라미터를 제공하도록 구성된 이미지 처리 시스템(150)과,

상기 카메라(110)의 상기 시야에 대응하는 오디오 신호를 수신 및 처리하여 그로부터 오디오 정보 파라미터를 제공하도록 구성된 오디오 처리 시스템(160)

중 적어도 하나와;

상기 이미지 처리 시스템(150)과 상기 오디오 처리 시스템(160) 중 적어도 하나와 작동상 연결되고, 상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터 중 적어도 하나에 기초하여 상기 카메라(110)의 상기 시야의 변화를 실행하도록 구성된 시야 제어기(170)를

포함하는, 휴대용 카메라 제어 시스템(100).
제 1 항에 있어서, 상기 카메라(110)에의 고정 부착(attachment)을 수용하도록 구성되고, 상기 시야 제어기(170)에 작동상 연결되어 상기 카메라(110)의 상기 시야의 상기 변화를 실행하는 적어도 하나의 방위(orientation) 모터를 포함하는베이스 유닛(130)을 더 포함하는, 휴대용 카메라 제어 시스템(100).
제 1 항에 있어서, 원격 방위 명령을 제공하는 원격 제어 디바이스(180)를 더 포함하며,

상기 시야 제어기(170)는 상기 원격 방위 명령에 기초하여 상기 카메라(110)의 상기 시야를 변화시키도록 추가로 구성된,

휴대용 카메라 제어 시스템(100).
제 1 항에 있어서, 상기 이미지 처리 시스템(150)은 상기 카메라(110)의 상기 시야 내에서 복수의 미리 한정된 시각적 제스쳐를 하나 이상 인식하는 것에 기초하여 하나 이상의 상기 이미지 정보 파라미터를 제공하도록 구성된 제스쳐-인식(gesture-recognition) 시스템을 포함하는, 휴대용 카메라 제어 시스템(100).
제 1 항에 있어서, 상기 오디오 처리 시스템(160)은 상기 오디오 신호 내에서 복수의 미리 한정된 음성(speech) 패턴을 하나 이상 인식하는 것에 기초하여 하나 이상의 상기 오디오 정보 파라미터를 제공하도록 구성된 음성-인식 시스템을 포함하는, 휴대용 카메라 제어 시스템(100).
제 1 항에 있어서, 상기 시야 제어기(170)는 전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 상기 시야의 상기 변화의 결정을 용이하게 하도록 구성된 학습 시스템 중 적어도 하나를 포함하는, 휴대용 카메라 제어 시스템(100).
제 6 항에 있어서, 전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 학습 시스템 중 상기 적어도 하나는 상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터에 기초하여 상기 시야의 상기 변화의 결정을 각각 용이하게 하는 복수의 지시 세트를 포함하며,

상기 시야 제어기(170)는 상기 시야의 상기 변화를 결정하는데 사용하기 위한 상기 복수의 지시 세트 중 하나의 지시 세트 선택을 허용하도록 구성된,

휴대용 카메라 제어 시스템(100).
휴대용 카메라(110)의 시야를 제어하는 방법으로서,

상기 휴대용 카메라(110)의 상기 시야에 대응하는 상기 휴대용 카메라(110)로부터 이미지를 수신 및 처리하여 그로부터 이미지 정보 파라미터를 제공하는 것(220)과,

상기 휴대용 카메라(110)의 상기 시야에 대응하는 오디오 신호를 수신 및 처리하여 그로부터 오디오 정보 파라미터를 제공하는 것(240)

중 적어도 하나와;

상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터 중 적어도 하나에 기초하여 상기 휴대용 카메라(110)의 상기 시야의 변화를 실행하는 것(250)을

포함하는, 제어 방법.
제 8 항에 있어서, 상기 휴대용 카메라(110)의 상기 시야의 상기 변화를 실행하는 것(250)은 팬(pan) 방위, 틸트(tilt) 방위, 및 줌(zoom) 세팅 중 적어도 하나의 변화를 통한 것인, 제어 방법.
제 8 항에 있어서, 원격 방위 명령을 수신하는 것을 더 포함하며,

상기 휴대용 카메라(110)의 상기 시야의 상기 변화를 실행하는 것은 상기 원격 방위 명령에 추가로 기초하는,

제어 방법.
제 8 항에 있어서,

상기 휴대용 카메라(110)의 상기 시야 내에서 복수의 미리 한정된 시각적 제스쳐 하나 이상과,

상기 오디오 신호 내에서 복수의 미리 한정된 음성(speech) 패턴 하나 이상 중

적어도 하나의 인식에 기초하여 상기 휴대용 카메라(110)의 제어를 제공하기 위하여 상기 이미지 및 상기 오디오 신호 중 적어도 하나를 처리하는 것(224, 244)을 더 포함하는, 제어 방법.
제 8 항에 있어서, 상기 휴대용 카메라(110)의 상기 시야의 상기 변화를 실행하는 것(250)은 전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 상기 시야의 상기 변화의 결정을 용이하게 하도록 구성된 학습 시스템 중 적어도 하나의 사용을 포함하는, 제어 방법.
제 12 항에 있어서,

전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 학습 시스템 중 상기 적어도 하나는 상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터에 기초하여 각각 상기 시야의 상기 변화의 결정을 용이하게 하는 복수의 지시 세트를 포함하며,

상기 방법은 상기 시야의 상기 변화를 결정하는데 사용하기 위해 상기 복수의 지시 세트 중 하나의 지시 세트를 선택하는 것을 더 포함하는,

제어 방법.
핸드-헬드(hand-held) 캠코더를 수용하도록 구성된 휴대용 베이스 유닛(130)으로서, 상기 휴대용 베이스 유닛(130)은

대응하는 모터 동작 신호의 수신에 기초하여 적어도 하나의 회전 평면에서 상기 캠코더의 방위를 조정하도록 구성된 적어도 하나의 모터와,

상기 핸드-헬드 캠코더의 상기 시야에 대응하는 상기 핸드-헬드 캠코더로부터의 이미지를 수신 및 처리하고 그로부터 이미지 정보 파라미터를 제공하도록 구성된 이미지 처리 시스템(150)과,

상기 핸드-헬드 캠코더의 상기 시야에 대응하는 오디오 신호를 수신 및 처리하고 그로부터 오디오 정보 파라미터를 제공하도록 구성된 오디오 처리 시스템(160)

중 적어도 하나와;

상기 이미지 처리 시스템(150) 및 상기 오디오 처리 시스템(160) 중 적어도 하나에 작동상 연결되고, 상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터 중 적어도 하나에 기초하여, 상기 모터 동작 신호를 통해 상기 핸드-헬드 캠코더의 상기 시야의 변화를 실행하도록 구성된 된 시야 제어기(170)를

포함하는, 휴대용 베이스 유닛(130).
제 14 항에 있어서, 상기 시야 제어기(170)는 팬 방위, 틸트 방위, 및 줌 세팅 중 적어도 하나의 원하는 변화의 결정에 기초하여 상기 모터 동작 신호를 실행하는, 휴대용 베이스 유닛(130).
제 14 항에 있어서, 원격 방위 명령을 제공하는 원격 제어 디바이스(180)를 더 포함하며,

상기 시야 제어기(170)는 상기 원격 방위 명령에 기초하여 상기 핸드-헬드 캠코더의 상기 시야를 변화시키도록 추가로 구성된,

휴대용 베이스 유닛(130).
제 14 항에 있어서, 상기 이미지 처리 시스템(150)은 상기 핸드-헬드 캠코더의 상기 시야 내에서 복수의 미리 한정된 시각적 제스쳐를 하나 이상 인식하는 것에 기초하여 하나 이상의 상기 이미지 정보 파라미터를 제공하도록 구성된 제스쳐-인식 시스템을 포함하는, 휴대용 베이스 유닛(130).
제 17 항에 있어서, 상기 오디오 처리 시스템(160)은 상기 오디오 신호 내에서 복수의 미리 한정된 음성 패턴을 하나 이상 인식하는 것에 기초하여 하나 이상의 상기 오디오 정보 파라미터를 제공하도록 구성된 음성-인식 시스템을 포함하는, 휴대용 베이스 유닛(130).
제 17 항에 있어서, 상기 시야 제어기(170)는 전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 상기 시야의 상기 변화에 대한 결정을 용이하게 하도록 구성된 학습 시스템 중 적어도 하나를 포함하는, 휴대용 베이스 유닛(130).
제 19 항에 있어서, 전문가 시스템, 지식-기반 시스템(175), 규칙-기반 시스템, 및 학습 시스템 중 상기 적어도 하나는 각각 상기 이미지 정보 파라미터 및 상기 오디오 정보 파라미터에 기초하여 상기 시야의 상기 변화의 결정을 용이하게 하는 복수의 지시 세트를 포함하며,

상기 시야 제어기(170)는 상기 시야의 상기 변화를 결정하는데 사용하기 위한 상기 복수의 지시 세트 중 하나의 지시 세트의 선택을 허용하도록 구성된,

휴대용 베이스 유닛(130).