KR20020064794A - 최적화된 비디오 통신들을 위한 2차 센서의 사용 방법 - Google Patents

최적화된 비디오 통신들을 위한 2차 센서의 사용 방법 Download PDF

Info

Publication number
KR20020064794A
KR20020064794A KR1020027004498A KR20027004498A KR20020064794A KR 20020064794 A KR20020064794 A KR 20020064794A KR 1020027004498 A KR1020027004498 A KR 1020027004498A KR 20027004498 A KR20027004498 A KR 20027004498A KR 20020064794 A KR20020064794 A KR 20020064794A
Authority
KR
South Korea
Prior art keywords
image
video
encoding
images
parameter
Prior art date
Application number
KR1020027004498A
Other languages
English (en)
Inventor
바크흐무트스키미셀
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020064794A publication Critical patent/KR20020064794A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

비디오 카메라와 같은 장면을 감지하는 2차 센서가 제공된다. 2차 센서로 부터 이미지가 관심 객체들에 대응하는 비디오 이미지의 영역들을 식별하는데 사용된다. 식별된 관심 영역들은 비디오 이미지 내의 다른 영역들보다 더 섬세한 디테일 레벨로 인코딩될 수 있다. 화상 회담 장면내의 인간과 같은 생물 객체들을 검출하기 위한 양호한 2차 센서는 종래의 적외선 열 센서 매트릭스 이다. 일반적으로 더 낮은 디테일 레벨로 열 센서 매트릭스의 대기 온도 영역들에 대응하는 비디오 이미지의 영역들을 인코딩 하여, 활용 가능한 대역은 더 높은 프레임 레이트 또는 더 섬세한 디테일 레벨로 더 높은 온도 영역들을 전송하기 위해 할당 될 수 있다. 2차 이미지는 종래의 객체 인식 응용들에서 "최앞단 필터"로서 또한 사용될 수 있어서, 이들 응용들의 정밀도와 효율을 증가시킨다.

Description

최적화된 비디오 통신들을 위한 2차 센서의 사용 방법{Using a secondary sensor for optimized video communications}
2. 관련 기술의 설명
화상 통신은 상대적으로 큰 전송 대역을 소모하므로, 많은 수의 시스템들이 개발되었고, 현존 대역의 사용을 최적화하거나 요구되는 대역을 감소하도록 개발되고 있다. 이미지들의 스트림의 MPEG 인코딩은, 예를 들어, 전송되거나 저장될 필요가 있는 데이터의 양을 줄이기 위해 다양한 기술들을 사용한다. 참조를 용이하게 하기 위해, 본원에서 용어 '대역'은 비디오 이미지들을 전송 또는 저장하기 위해 요구되는 인코딩된 데이터의 양을 포함하도록 사용된다. 이산 코사인 변환 (DCT)은 각 이미지 프레임 또는 프레임의 부분 내의 인코딩된 정보의 사이즈를 공간적으로 줄이기 위해 사용된다. 움직임 추정 기술들은 연속적인 이미지들 사이의 동작 또는 차이의 양에 기초하여 시간적으로 인코딩된 정보의 사이즈를 줄이기 위해 사용된다. 양자화는 요구되는 디테일(detail)의 정도에 기초하여 인코딩된 정보의 사이즈를 줄이기 위해 사용되거나 활용 가능한 대역에 기초하여 사이즈 즉 디테일을 줄이기 위해 사용된다. 이들 기술들 각각은, 수신된 이미지가 디코딩되고 디스플레이될 때 인식 가능한 보이는 이형들(anomalies)의 개입없이, 이미지의 다른 특성들로 대역의 할당을 최적화 하도록 의도된다.
MPEG 인코딩의 대역 최적화 기술들로도, 낮은 대역 시스템들에 대해 일부 절충들이 요구된다. 예를 들어, 인터넷을 통해 통신되는 비디오 이미지들은, 이미지들의 동일한 스트림의 완전 해상도 DVD 버전보다 실질적으로 낮은 해상도를 제공하는 작은 사이즈 이미지들로 통상 제약된다. 화상 회의를 위해 통신하는 비디오 이미지들은 종래의 텔레비전 방송들의 25 프레임 레이트의 반보다 적게 일반적으로 인코딩되고, 디스플레이 상에 지연되고 비연속적인 이미지들을 생성한다.
본원에 참조로 통합된 정 제창(Je-chang Jeong)을 위한 1995년 12월 12일에 발행된 미국 특허 5,475,433 "FUZZY-CONTROLED CODING METHOD AND APPARATUS THEREFOR"(sic)은, 특성들의 조합에 기초하여 앞서 언급한 인코딩 기술들의 파라메터들을 조정하여 비디오 이미지들의 MPEG 인코딩을 최적화하는 다른 방법을 교시한다. 예를 들어, 많은 양의 움직임을 갖는 이미지들의 시퀀스는, 디테일의 부족이 빨리 움직이는 장면에서 명확하게 검출되지 않을 것이라는 전제에 기초하여 상대적으로 정적인 이미지보다 낮은 디테일 레벨(level of detail)로 인코딩된다. 유사한 방법으로, 이미지와 그 명도의 복잡성의 정도와 활용 가능한 대역의 양이 전송된 이미지의 양자화 레벨 즉, 디테일의 양을 조정하는데 사용된다.
다른 기술들이 대역 할당 처리를 개선하기 위해 제안되어 왔으며, 이들 대부분은 "객체들" 또는 "객체 영역들"로 이미지들의 분리에 의존한다. 예를 들어, MPEG-4는 그 배경으로부터 객체의 분리를 허용하여, 객체가 배경 보다 다르고 일반적으로 더 섬세한 디테일 레벨로 인코딩되도록 허용한다. 이 인코딩 기술은 화상 회의에 특히 잘 맞는 것으로 기대되며, 여기서, 제한된 대역의 대부분이 장면 내의 인간 '객체들'로 할당되며, 최소 대역은 배경 장면들로 할당된다. 이 방식에서, 비록 배경 내의 동작들이 흔들리고 잠재적으로 흐리게 나타날 수 있지만, 장면 내의 인간 객체들은 지연들 및 불연속성들을 감소하는 더 높은 프레임 레이트로 깨끗하고 잠재적으로 나타날 것이다. 이들 객체-의존 인코딩 기술들은 그래픽 예술 효과들을 용이하게 하도록 또한 기대되며, 여기서 선택 객체들은 배경 장면 또는 다른 객체들과 다른 강조로 인코딩될 수 있다.
그러나, 대역을 할당하기 위한 또는 인코딩된 이미지 내의 관심 객체들로 그래픽 예술 효과들을 제공하기 위한 이들 향상된 기술들은 이미지 내의 각 객체의 인식을 요구한다. 그러나, 객체 인식은 소비자 장치들에 대해 실현 가능한 비용 범위를 초과하는 처리 장비를 현재 요구하는 복잡한 처리 작업이다. 현재 객체 인식 장치들의 높은 비용과 상대적으로 낮은 정밀도는 화상 회의와 인터넷 화상 통신과 같은 최적화된 인코딩으로부터 혜택을 볼 수 있는 대부분 응용들에서 이것의 사용을 방해한다.
1. 발명의 분야
본 발명은 화상 통신 분야에 관한 것이며, 특히, 비디오 카메라와 열 센서 모자이크와 같은 2차 센서와의 결합에 기초하여 이미지들의 최적화된 전송을 용이하게 하는 방법 및 시스템에 관한 것이다.
본 발명은 첨부된 도면들을 참조하여 예시적인 방식으로 더 상세하게 설명된다.
도 1은 본 발명에 따른 인코딩 시스템의 예시적인 블록 다이어그램을 도시한다.
도 2는 본 발명에 따른 예시적인 카메라 시스템을 도시한다.
도 3은 본 발명에 따른 인코딩 시스템의 예시적인 흐름도를 도시한다.
도면들을 통하여, 동일한 참조 번호들은 유사한 또는 대응하는 특성들 또는 기능들을 지시한다.
본 발명의 목적은 비디오 이미지들의 대역 할당의 최적화를 용이하게 하는객체 인식을 위한 방법 및 시스템을 제공하는 것이다. 본 발명의 또 다른 목적은 객체-기초한 자원 할당을 갖는 낮은 비용 비디오 시스템을 제공하는 것이다. 본 발명의 또 다른 목적은 대역 할당 의 최적화를 용이하게 하는 낮은 비용 비디오 시스템을 제공하는 것이다. 본 발명의 또 다른 목적은 이미지의 배경으로부터 객체를 구별하는 수단을 제공하는 것이다.
이들 객체들 및 다른 것들은 비디오 카메라와 동일한 장면을 감지하는 2차 센서를 제공하여 성취된다. 2차 이미지는 관심 객체들에 대응하는 비디오 이미지의 영역들을 식별하는데 사용된다. 그러면 식별된 관심 영역들은 비디오 이미지 내의 다른 영역들 보다 더 섬세한 디테일 레벨로 인코딩될 수 있다. 화상 회담 장면 내의 인간과 같은 생물 객체들을 검출하기 위한 양호한 2차 센서는 종래의 적외선 열 센서 매트릭스이다. 매우 거친 디테일 레벨로 열 센서 매트릭스의 대기 온도 영역들에 대응하는 비디오 이미지의 영역들을 인코딩하여, 활용 가능한 대역이 더 높은 디테일 레벨로 또는 더 높은 프레임 레이트로 더 높은 온도 영역들을 전송하기 위해 할당 될 수 있다. 2차 이미지가 종래의 객체 인식 응용들에 "최앞단 필터"로서 또한 사용될 수 있어서, 이들 응용들 의 효율 및 정밀도를 증가시킨다.
도 1은 본 발명에 따른 인코딩 시스템 (100)의 예시적인 블록 다이어그램을 도시한다. 인코딩 시스템 (100)은 비디오 이미지 (110), 대응하는 2차 이미지 (120), 및 인코더 (150) 의 소스를 포함한다. 쉬운 참조를 위해, 용어 '이미지'는 여기서 수집 장치의 가시 영역 내의 아이템들에 대응하는 값들의 어레이를 정의하기 위해 사용된다. 예를 들어, 비디오 이미지 (110)은 비디오 카메라의 가시 영역 내의 가시 광선의 수집과 연관된 값들의 어레이에 일반적으로 대응한다. 이 어레이는 어떠한 다양한 형식들일 것이며, 비록 도면들 내에서 값들의 어레이로서 나타나지만, 값들의 연속 스트림일 수 있다.
아래에서 더 논의되는 바와 같이, 본 발명에 따른 2차 이미지 (120)은 비디오 이미지 (110)의 파생물이 아니지만, 비디오 이미지 (110)를 수집하기 위해 사용되는 센서에 대안적인 센서를 통하여 수집된 비디오 이미지와 실질적으로 동일한 장면 의 표시이다. 양호한 실시예에서, 비록 다른 2차 감지 장치들이 마찬가지로 사용될 수 있지만, 2차 이미지 (120)는 적외선 열 센서를 통하여 수집된 장면의 표시이다. 양호하게, 2차 센서는 비디오 이미지 (110) 내의 잠재적인 관심 객체들 l01의 인식을 용이하게 하는 장면의 특성을 획득(capture)한다. 적외선 센서는, 객체가 완전히 옷을 입었을 때도, 인간과 같은 생물 객체들을 검출하기에 특히 적합하다. 특수한 보이는 색상들의 검출기와 같은 다른 센서가 예를 들어, 특수한 색상이 잠재적인 관심 객체들과 연관될 때 사용될 수 있다. 도시된 바와 같이, 2차 이미지 (120)의 해상도는 비디오 이미지 (110)와 다를 것이다. 낮은-비용 실시예에서, 예를 들어, 2차 이미지 (120)는 열 값들의 64x64 어레이일 것이며, 반면에, 비디오 이미지 (110)는 휘도 및 색차 값들의 330x485 또는 더 큰 어레이일 것이다. 2차 이미지 (120)의 해상도는 비용/수행 흥정에 기초하여 선택된다. 2차 이미지 (120)의 해상도는 관심 객체 (101)의 모양을 결정하는 정밀도를 결정하여, 성취될 수 있는 최적화 인코딩의 정도를 결정하지만, 높은-해상도 이미지 (120)를 생산하기 위한 센서의 비용은 낮은-해상도 이미지 (120)를 생산하는 센서의 비용 보다 실질적으로 더 높을 것이다. 이러한 높은 비용은, 예를 들어, 장면 내의 뉴스 방송인 을 식별하는데 사용하고 뉴스 내용에 기초한 적절한 배경 이미지들을 대체하는 전문 시스템에서 보증될 수 있을 것이다.
쉬운 참조와 이해를 위해, 본 발명은 열 방출들에 기초하여 비디오 이미지 내의 잠재적인 관심 객체들 또는 영역들을 식별하고 이들 관심 객체들 또는 영역들을 인코딩하는데 제공되는 디테일 레벨을 조정하는 실시예를 사용하여 나타난다. 이러한 개시 내용의 견지에서 당업자에게 명백한 바와 같이, 2차 이미지의 다른 특성들은 특수 색상에 기초하는 객체들의 식별과 같은 비디오 이미지들의 인코딩을 제어하는데 사용될 수 있다. 유사한 방법으로, 명도, 색상 집중, 프레임 레이트, 등과 같은 다른 인코딩 파라메터들은 검출된 특성들에 의존하여 조정될 수 있다.본 발명의 내용에서, 이미지의 인코딩에 영향을 미치는 어떤 파라메터 또는 특성은 "인코딩 파라메터"로 정의된다. 예를 들어, 배경 영역들에 대해 디테일 의 인코딩 레벨을 직접 인코딩하는 대신에, 이들 영역들 내의 휘도 및 색차 값들이 상수값으로 설정될 수 있어서, 이들 영역들에 대해 인코딩될 필요가 있는 정보 내용을 최소화시킨다.
도 1에 도시된 바와 같이, 2차 이미지 (120)의 특성들은 비디오 이미지 (110)를 인코딩하기 위해 인코더 (150)에 의해 사용되는 인코딩 파라메터들 (160)을 제어하는데 사용된다. 예를 들어, 객체 (101)는 이미지들 (110, 120) 상에 중첩된걸로 도시된다. 앞서 언급한 적외선 센서 예에서, 만약 이 객체 (101)가 열의 소스라면, 적외선 방사 객체 (101)에 의해 중첩된 적외선 이미지 (120)에 대응하는 센서 영역들은 주변 영역들 보다 더 높게 감지된 값들을 가질 것이다. 적외선 방사 객체 (101)에 의해 부분적으로 중첩된 영역들은 적외선 방사 객체 (101)에 의해 완전히 중첩된 영역들 보다 더 낮고 적외선 방사 소스를 갖지 않는 영역들 보다 더 높은 평균적으로 감지된 값을 가질 것이다. 도시된 바와 같이, 만약 2차 이미지 (120)의 영역 (121)이 이 영역 (121) 내의 생물 객체(따뜻한 몸체)의 존재에 대응하는 특성(높은 열 감지된 값)을 갖는다면, 인코더 (150)는 따듯한 몸체의 존재를 나타내지 않는 2차 이미지 (120) 내의 영역들 보다 더 섬세한 디테일 레벨로 이 영역 (121)에 대응하는 비디오 이미지 (110)의 영역들 (111)을 인코딩한다. 이 디테일 레벨은 예를 들어, MPEG 인코딩에서 DCT 값들의 양자화에 사용되는 양자화 단계 사이즈를 변경하여 변경될 수 있다. 다른 인코딩 파라메터들 (160)은 부가적으로또는 양자화 파라메터를 대신하여 조정될 수 있다. 예를 들어, 더 높은 프레임 레이트의 인식은 다른 영역들을 갖는 프레임들 보다 더 자주 관심 영역들을 갖는 프레임들을 전송하여 성취될 수 있다.
영역 (121)의 특성이 비디오 이미지 (110) 내의 대응하는 영역들 (111)의 인코딩 의 디테일 레벨에 영향을 미치는 많은 파라메터들 (160) 중 하나 일 수 있다는 것을 주지하라. 예를 들어, 앞서 언급한 미국 특허 5,475,433 나타난 것과 같은 "퍼지-논리(fuzzy-logic)" 시스템은 2차 이미지 (120)의 하나 이상의 특성들을 포함하는 계수들의 다양성에 의존하는 디테일의 인코딩 레벨을 결정하는데 사용될 수 있다. 본원에 참조로 통합된 대리인 명부 PHA 23,597, 쵸우 싱치(Shing-Chi Tzou), 왕 징용(Zhiyong Wang), 및 이 잔원(Janwun Lee)에 대해 1998년 12월 23일 출원된, 공동 계류중인 미국 특허 출원 "MOTION-ANALYSIS BASED BUFFER REGULATION SCHEME", 일련 번호 제 09/220,292 호는 비디오 이미지 내의 각 MPEG-사이즈된 블록에 대해 양자화 단계 사이즈를 결정하는데 사용하는 공칭값을 포함하는 이미지 맵의 사용을 개시한다. 각 블록의 공칭값은 블록의 현재 뿐만 아니라 이전의 특성들에 기초하여 동적으로 조정된다. 인용 미국 특허 5,474,433에 있는 바와 같이, 이 공칭값은 그 내용이 빨리 변경되는 "동적" 블록을 위한 거친 디테일 레벨을 생성하기 위해 조정된다. 이미지 맵의 사용은 비디오 이미지의 연속적으로 개선되는 랜더링(rendering)을 허용한다. 예를 들어, 이미지내의 "정적" 블록은 대역 유용성에 따라 더욱더 섬세한 디테일로 단계적으로 인코딩되어, 대역 이용내의 어떤 잠재적인 "일시적인 고요(lulls)"는 화상 품질을 개선하는데 사용될 수 있다. 공동 계류중인 발명과 본 발명의 양호한 조합은 잠재적으로 낮은 관심 영역들 보다 2차 이미지 (120)에 의해 식별된 관심 영역들의 단계적으로 섬세한 인코딩을 좋게할 것이다. 즉, 예를 들어, 식별된 관심 영역들은 활용 가능한 대역의 할당에 대해 더 높은 우선 순위가 주어질 것이고, 낮은 관심 영역들은 미리 정의된 수용 가능한 디테일 레벨로 관심 영역들이 랜더링된 후에 대역 할당될 것이다.
본 개시의 견지에서 당업자에게 명백한 바와 같이, 기술들의 다양성은 비디오 이미지 (110)의 영역들의 디테일 레벨로 2차 이미지 (120)의 영역들의 특성들을 상관하기 위해 사용될 수 있다. 2차 이미지 (120)의 영역들의 특성들의 필터링 또는 보간은 당업계에서 공통인 기술들을 사용하는 2차 이미지 (120)의 각 영역의 에지들에서 불연속성을 최소화하기 위해 비디오 이미지 (110)의 각 영역 또는 블록에 대해 대응하는 양자화 계수를 결정하는데 사용될 수 있다. 명백한 객체-식별 스킴에서, 2차 이미지 (120)는 종래의 객체-인식 응용에서 "최앞단" 필터로서 사용될 수 있다. 이러한 실시예에서, 객체-인식 응용은 2차 이미지 (120)의 영역들의 특성들에 의해 식별된 관심 영역들에 잠재적인 객체들에 대한 검색의 우선순위를 정하도록 구성된다. 유사하게, 만약 객체-인식 응용이 2차 이미지 (120)에 상대적으로 최소 사이즈 영역에 대응한다고 알려진 객체들을 찾도록 설계된다면, 검색이 최소 사이즈 영역을 차지하는 요구되는 특성을 갖는 연속적인 블록들을 갖는 2차 이미지의 영역들에 제한 될 수 있다. 객체-인식 응용이 관심 객체를 인식할 때, 인코더 (150)는 섬세한 디테일 레벨로 비디오 이미지 (110)의 개별 영역들을 인코딩할 수 있거나, 만약, 인코딩이 MPEG4 인코딩과 같은 객체-의존 인코딩을 직접적으로 지지한다면, 인코더 (150)는 연관된 양자화 파라메터로 명확한 객체로서 식별된 영역들을 인코딩 한다. 인코딩의 특정 디테일들과 디테일 의존성의 그 연관된 레벨은 사용되는 특정 인코딩 스킴에 의존할 것이고, 관심 객체 또는 영역의 식별에 기초하여 디테일 레벨을 최적화하기 위한 다른 기술들은 본 개시의 견지에서 당업자에게 명백할 것이다.
도 2는 본 발명에 따른 예시적인 카메라 시스템 (200)을 도시한다. 카메라 시스템 (200)은 비디오 이미지들 (110, 도 1)을 수집하기 위한 카메라 (210) 및 2차 이미지들 (120, 도 1)을 수집하기 위한 2차 센서 (220)를 포함한다. 비디오 이미지 (110) 에 대응하는 2차 이미지 (120)를 위해, 카메라 (210)의 가시 영역 (215)과 센서 (220)의 가시 영역 (225)은 실질적으로 대응해야 한다. 이상적인 실시예에서, 비디오 이미지 (110)를 생성하기 위해 카메라에 의해 사용되는 동일한 광학 시스템은 카메라 (210)에 통합된 센서 (220)를 통하여 2차 이미지 (120)를 생성하여 정확한 대응을 얻기 위해 사용될 것이다. 그러나, 도 2에 도시된 바와 같이, 정확한 대응은 요구되지 않는다. 도 2는 카메라(210)에 인접한 2차 센서(220), 종래의 비디오 카메라(210)에 "옵션"으로서 또는 본 발명에 따른 통합 인코더(150, 도 1)를 포함하는 카메라(210) 상에 탈착 가능한 아이템으로서 제공되는 센서(220)의 구성을 도시한다.
카메라(210)에 관련된 센서(220)의 특정 구성에 따라, 가시 영역(215, 225)이 실질적으로 대응하는 영역(275)이 있을 것이다. 이 영역(275) 내에서, 이미지들(110, 120) 사이의 대응은 도 1에 도시된 바와 같이 실질적으로 선형이다.요구되는 정밀성에 따라, 실질적으로 대응하는 영역(275)을 초과하는 영역들 내의 이미지들(110, 120) 사이의 맵핑은 당업계에 일반적인 근사치 기술들을 사용하는 더 복잡한 좌표 변환의 견지에서 정의될 수 있다. 만약 카메라 (210)가 가변-줌 능력(variable-zoom capability)을 갖는다면, 가시 영역(215)은 따라서 약정되거나 확장될 것이다. 이상적인 실시예에서, 카메라 (210) 내의 줌의 변경은 2차 센서의 가시 영역 (225)의 대응하는 변경에 영향을 미칠 것이다. 대안적으로 더 낮은-비용 실시예에서, 가시 영역 (225)은 고정될 수 있다. 이 실시예에서, 가시 영역 (225) 은" 전형적인" 필드에 설정되며, 이것의 내에서 관심 객체들이 나타나기 쉽다. 본 발명에서 카메라(210)의 줌 아웃 설정 때문에 2차 센서 (220)의 가시 영역 (225)을 초과하는 카메라 (210)의 가시 영역 (215) 내의 비디오 이미지 (110)의 영역들은 디테일 설정의 디폴트 거친 레벨로 설정된다. 유사한 방법으로, 카메라 (210) 줌-인 설정 때문에 카메라 (210)의 가시 영역 (215)을 초과하는 2차 이미지 (120)의 영역들은, 에지 불연속성들을 방지하기 위해 특성 값들의 앞서 언급한 보간에 영향을 미치는데 필수적인 것을 제외하고 무시된다. 이미지들 (110, 120) 사이의 상관을 개선하기 위한 부수적인 방법들이 또한 사용될 수 있다. 예를 들어, 적절한 좌표 변환은 이미지들 (110, 120)의 특성들을 비교하고 이미지들 (110, 120) 사이의 좌표 변환의 적절한 파라메터들을 결정하는데 당업계에 일반적인 최소 제곱 에러 커브 맞춤(least-square-error curve fitting) 기술들을 사용하여 결정될 것이다.
당업계에 일반적인 어떠한 다양한 장치들도 도 1 의 2차 이미지 (120)를 생성하기 위해 도 2 의 2차 센서 (220)를 제공하는데 사용될 것이다. 적외선 필드에서, 열 이미지 어레이들은 통상 활용 가능하다. 통상 활용 가능한 열 어레이들은 64x64 영역들 (121)을 갖는 이미지들 (120, 도 1)을 제공한다; 더 큰 및 더 작은 어레이들 또한 활용 가능하다. 여기에 참조로 통합된 키마타(Kimata) 등을 위해 (200)0년 2월 29일에 발행된 미국 특허 6,031,231 "INFRARED FOCAL PLANE ARRAY"는 반도체 기판들에 배열된 온도 검출 유닛들의 2 차원 적외선 초점 평면(focal plane) 어레이들의 개요를 제공한다. 여기에, 참조로 통합된 메시오우 안토니 와이. (Antoine Y. Messiou)를 위해 1989년 9월 19일에 발행된 미국 특허 4,868,391 "INFRARED LENS ARRAYS"은 넓은 가시 영역을 제공하도록 다른 각도들로 배열된 프레넬 렌즈들의 어레이를 제공하며, 이 어레이는 실질적으로 평면 판(sheet)으로서 구성된다. '391 특허에서, 각각의 렌즈들은 단일 온도 검출 유닛에 에너지를 주는 일반 초점 포인트를 갖는다. 본 발명의 양호한 낮은-비용 실시예에서, 프레넬 렌즈들의 어레이가 반도체 기판 상의 복수의 온도 검출 유닛들로 열 에너지를 보내기 위해 배열된다. 온도 검출 유닛들로 부터의 출력은 도 1 의 이미지 (120)에 대응한다.
센서 (220) 내의 개별 검출 유닛들의 가시 영역들이 균일해야할 필요가 없음을 주지하라. 즉, 예를 들어, 본 발명 의 양호한 실시예에서, 이미지 (120)의 주변 영역들에 대응하는 프레넬 렌즈들은 이미지 (120)의 중심 영역에 대응하는 프레넬 렌즈들 보다 더 넓은 가시 영역을 갖는다. 왜냐면, 관심 객체들 또는 영역들이 비디오 이미지 (110) 의 중심 가까이에 일반적으로 위치될 것이기 때문일 것이다.
또한, 센서 (220)가 종래의 적외선 카메라에 대응할 수 있다는 것을 주지하라. 이러한 실시예에서, 적외선 카메라 (220) 및 비디오 카메라 (210)는 일반 운반기에 장착되고 일반 제어 시스템에 의해 제어된다. 카메라들 (210, 220)의 각각은 위에서 논의한 바와 같은 처리를 위하여 인코더 (150)에 그들의 대응하는 이미지들 (110, 120)을 제공한다.
인코더 (150)는 카메라 (210) 및 센서 (220)로 부터 직접 이미지들 (110, 120)을 판독하는 장치 내에 위치될 수 있고, 카메라 (210) 또는 센서 (220) 내에 삽입될 수 있다. 유사한 방법으로, 인코더 (150), 카메라 (210), 및 센서 (220) 는 단일 장치로서 구현될 수 있다. 인코더 (150)는 또한 카메라 (210) 및 센서 (220)로 부터의 기록들 또는 전송들로 부터 이미지들 (110, 120)을 획득하는 독립 장치 일수 있다. 양호하게, 시간 도장(time-stamp)이 비디오 이미지들 (110) 과 2차 이미지들 (120) 사이의 동기를 용이하기 하도록하기 위해 각 이미지 (110, 120)에 대해 제공 된다. 단지 2차 이미지들 (120)이 비디오 이미지들 (110) 과 적시에 실질적으로 상관될 수 있다면, 카메라 (210) 및 센서 (220)의 프레임 레이트는 동일할 필요가 없다는 것을 주지하라. 이들 및 다른 시스템 구성 선택들은 본 개시의 견지에서 당업자에게 명백할 것이다.
도 3은 본 발명에 따른 인코딩 시스템의 예시적인 흐름도를 도시한다. 편의와 용이한 이해를 위해, 이 흐름도는 도면들 1 및 2의 객체들을 참조하여 나타내고, 위에 나타난 대안적인 실시예들의 상세한 설명들 없이 간단한 MPEG 인코딩 의 내용으로 나타낸다. 당업자에게 명백한 바와 같이, 본 발명은 이 실시예에만 제한되지 않는다.
310에서, 2차 이미지 (120) 및 비디오 이미지 (110) 사이의 대응이 위에서 논의된 바와 같이 결정된다. 320에서, 디폴트 양자화 계수가 결정된다. 이 디폴트 양자화 계수는 상대적으로 거친 디테일 레벨을 생성하는 종래의 MPEG 인코딩 내의 양자화 단계 사이즈에 대응한다. 이 디폴트 계수는 활용 가능한 대역, 이전 이미지 품질, 이전 이미지들의 다이나믹들 또는 모든 복잡성 등등에 기초하여 결정될 것이다. 편의를 위해, 이 디폴트 양자화 계수는 330에서 비디오 이미지 (110) 의 각 영역에 할당된 후, 2차 이미지 (120)로 부터 유도되는 열-객체-아웃라인과 같은 2차 이미지 (120)의 특성들에 기초하여 루프 340-360를 통하여 선택적으로 변경된다.
2차 이미지 (120)의 각 영역 (121)은 루프 340-360 내에서 연속적으로 처리된다. 이 실시예에서, 간단한 임계 테스트가 345에서 각 영역이 "관심 영역" 에 대응하는지 아닌지를 결정하는데 사용된다. 2차 이미지 (120)의 각 영역 (121)은 영역 (121) 내의 검출된 열에 대응하는 저항 또는 전압과 같은 연관된 특성을 갖고, 이 특성 의 측정은 영역이 "관심 영역" 인지 아닌지를 결정하는데 사용된다. 만약, 측정이 임계값을 초과 한다면, 비디오 이미지 (110)의 대응하는 영역들 (111)의 양자화 계수는 350에서, 섬세한 디테일 레벨에서 인코딩에 영향을 미치기 위해 조정된다. 위에서 언급한 바와 같이, 루프 340-360는 각 영역 (121)의 측정들의 보간에 기초하여 비디오 이미지 (110)의 각 영역 (111)에 대한 적절한 양자화 계수의 연속적인 결정에 의해 대체될 수 있다. 유사한 방법으로, 루프 340-360는 미국 특허 5,475,433에서 논의된 바와 같은 퍼지 논리 시스템에 의해, 또는 위에서 논의된 공동 계류중인 출원 O9/220,292에서 논의된 바와 같은 단계적인 접근에 의해 증가되거나 대체될 수 있다. 유사한 방법으로, 루프 340-360는 또한 위에서 논의된 효율적인 객체 검색을 용이하기 하도록 이미지 (120)의 특성들의 측정들을 사용하는 종래의 객체-인식 시스템에 의해 대체될 수 있다.
370에서, 비디오 이미지 (110)는 2차 이미지 (120) 에 기초하여 위에서 결정된 양자화 계수들을 사용하여 인코딩된다. 또한, 인코딩 및 양자화 계수들은 당업계에 일반적인 기술들 또는 공동 계류중인 미국 특허 출원 09/220,292에 개시된 바와 같은 기술들을 사용하여 활용 가능한 대역, 복잡성 및 동작의 정도 등등과 같은 다른 파라메터들에 의존 할 수 있다.
앞의 내용들은 단지 본 발명의 원리들을 예시한다. 다른 실시예들 및 응용들은 본 개시의 견지에서 당업자에게 명백할 것이다. 예를 들어, 비록 본 발명이 이미지들을 전송하기 위해 요구되는 대역의 최적화에 관하여 나타나지만, 여기에 나타난 인코딩 스킴들은 이미지들을 저장하기 위한 저장 요구사항들의 최적화를 위해 역시 같이 적용가능하며, 비디오 테이프와 같은 매체 기록의 능력을 최적화 하도록 사용될 수 있다. 그러므로, 당업자는, 비록 여기에 명확하게 설명되거나 도시되지 않았지만, 다음 청구항들의 범위 내에 포함되고, 본 발명의 원리들을 구현하는 다양한 장비들을 발명할 수 있다는 것을 알 것이다.

Claims (20)

  1. 적어도 하나의 비디오 이미지 (110) 및 적어도 하나의 대응하는 2차 이미지 (120)를 수신하도록 구성되는 비디오 인코딩 시스템 (100)에 있어서,
    상기 2차 이미지 (120)의 대응하는 영역 (121)의 특성에 의존하는 인코딩 파라메터 (160)를 사용하여 비디오 이미지 (110)의 복수의 영역들의 각 영역 (111)을 인코딩하고, 그에 의해 상기 비디오 이미지(110)의 인코딩을 생성하는 인코더 (150)를 포함하는, 비디오 인코딩 시스템.
  2. 제 1 항에 있어서,
    1차 가시 영역(215) 내의 가시 광선에 민감하고, 그에 의해 제 1 가시 영역(215)에 대응하는 적어도 하나의 비디오 이미지 (110)를 생성하는 이미지 검출기 (210)와,
    상기 이미지 검출기 (210)의 상기 제 1 가시 영역(215)의 적어도 한 부분에 실질적으로 대응하는 2차 가시 영역(225) 내의 적외선 방사에 민감하고, 그에 의해 상기 대응하는 2차 이미지 (120)를 생성하는 열 검출기(heat detector)를 더 포함하는, 비디오 인코딩 시스템.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 대응하는 2차 이미지 (120)는 객체-관련 패턴 (object-related pattern ; 101)을 제공하고,
    인코더 (150)는 상기 객체-관련 패턴 (101)에 기초하여 상기 비디오 이미지 (110) 내의 객체들을 인코딩하도록 구성되는, 비디오 인코딩 시스템.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 대응하는 2차 이미지 (120)에 기초하여 객체-관련 패턴 (101)의 인식을 용이하게 하는 객체-인식 시스템을 더 포함하는, 비디오 인코딩 시스템.
  5. 제 1 항에 있어서,
    상기 인코더 (150)가, 모션 파라메터, 복잡성 파라메터, 명도 파라메터, 및 대역 파라메터 중 적어도 하나에 기초하여, 복수의 영역들의 각 영역 (111)을 인코딩하도록 더 구성되는, 비디오 인코딩 시스템.
  6. 제 1 항에 있어서,
    상기 인코딩 파라메터(160)는 상기 비디오 이미지(110)의 인코딩의 디테일 레벨(level of detail)에 대응하는, 비디오 인코딩 시스템.
  7. 제 6항에 있어서,
    상기 2차 이미지 (120)의 대응하는 영역 (121)의 특성은 상기 2차 이미지(120)의 대응하는 영역 (121)과 연관된 온도의 측정인, 비디오 인코딩 시스템.
  8. 제 7 항에 있어서,
    상기 인코더 (150)가 모션 파라메터, 복잡성 파라메터, 명도 파라메터, 및 대역 파라메터 중 적어도 하나에 기초하여 복수의 영역들의 각 영역 (111)을 인코딩하도록 더 구성되는, 비디오 인코딩 시스템.
  9. 카메라 시스템 (200)에 있어서,
    비디오 카메라 (210)의 1차 가시 영역(215)에 대응하는 비디오 이미지들 (110)을 수집하는 상기 비디오 카메라 (210)와,
    연관된 2차 이미지들 (120)에 기초하여 상기 비디오 이미지들 (110) 내의 관심 영역들 (101)의 다음 인식을 용이하게 하기 위해, 상기 제 1 가시 영역 (215)의 적어도 한 세그먼트에 실질적으로 대응하는 2차 가시 영역(225)에 대응하는 2차 이미지들 (120)을 수집하는, 상기 비디오 카메라 (210)에 동작 가능하도록 부착된, 2차 검출기 (220)를 포함하는, 카메라 시스템.
  10. 제 9 항에 있어서,
    상기 2차 검출기 (220)는 열 검출기를 포함하는, 카메라 시스템.
  11. 제 9 항에 있어서,
    상기 대응하는 2차 이미지들(120)의 특성들에 따라 상기 비디오 이미지들 (110)을 인코딩하여 인코딩된 출력을 생성하도록 구성되는 인코더 (150)를 더 포함하는, 카메라 시스템.
  12. 제 11 항에 있어서,
    상기 인코딩된 출력을 수신기로 전송하도록 구성되는 전송기와,
    상기 인코딩된 출력을 저장하도록 구성되는 레코더 중 적어도 하나를 더 포함하는, 카메라 시스템.
  13. 제 11 항에 있어서,
    객체-관련 패턴 (101)의 인식을 용이하게하기 위해 상기 2차 이미지들 (120)을 사용하는 객체 인식 시스템을 더 포함하며,
    상기 인코더 (150)는 상기 객체-관련 패턴 (101)에 기초하여 상기 비디오 이미지 (110) 내의 객체들을 인코딩하도록 구성되는, 카메라 시스템.
  14. 제 11 항에 있어서,
    상기 인코더 (150)는, 모션 파라메터, 복잡성 파라메터. 명도 파라메터, 및 대역 파라메터 중 적어도 하나에 기초하여 상기 비디오 이미지들 (110)을 인코딩하도록 더 구성되는, 카메라 시스템.
  15. 제 11 항에 있어서,
    상기 대응하는 2차 이미지들 (220)의 상기 특성들은 상기 2차 가시 영역 (225) 내의 열 방출의 측정에 대응하는, 카메라 시스템.
  16. 제 11 항에 있어서,
    상기 인코더 (150)는, 상기 대응하는 2차 이미지들 (120)의 상기 특성들에 의존하는 양자화 계수들을 사용하여 상기 비디오 이미지들 (110)을 인코딩하도록 구성되는, 카메라 시스템.
  17. 제 16 항에 있어서,
    상기 양자화 계수들은, 모션 파라메터, 복잡성 파라메터, 명도 파라메터, 및 대역 파라메터 중 적어도 하나에 더 의존하는, 카메라 시스템.
  18. 비디오 이미지 (110)를 인코딩하는 방법에 있어서,
    상기 비디오 이미지(110) 의 적어도 한 부분에 대응하는 2차 이미지 (120)를 수신하는 단계와,
    상기 2차 이미지 (120)와 상기 비디오 이미지(110) 사이의 대응을 결정하는 단계(310)와,
    상기 2차 이미지 (120)의 대응하는 영역 (121)의 특성에 의존하여, 상기 비디오 이미지 (110)의 복수의 영역들의 각 영역 (111)에 인코딩 계수를 연관시키는단계(350), 및
    상기 연관된 인코딩 계수에 기초하여 상기 비디오 이미지 (110)의 상기 복수의 영역들의 각 영역 (111)을 인코딩하는 단계 (370)를 포함하는, 비디오 이미지 인코딩 방법.
  19. 제 18 항에 있어서,
    상기 2차 이미지 (120)는 열 지도(thermal map)를 포함하는, 비디오 이미지 인코딩 방법.
  20. 제 18 항에 있어서,
    인코딩 파라메터 (160)가 상기 비디오 이미지 (110)의 각 영역 (111)의 인코딩의 디테일 레벨에 영향을 미치는, 비디오 이미지 인코딩 방법.
KR1020027004498A 2000-08-08 2001-07-23 최적화된 비디오 통신들을 위한 2차 센서의 사용 방법 KR20020064794A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US63468200A 2000-08-08 2000-08-08
US09/634,682 2000-08-08
PCT/EP2001/008538 WO2002013535A2 (en) 2000-08-08 2001-07-23 Video encoder using image from a secondary image sensor

Publications (1)

Publication Number Publication Date
KR20020064794A true KR20020064794A (ko) 2002-08-09

Family

ID=24544796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027004498A KR20020064794A (ko) 2000-08-08 2001-07-23 최적화된 비디오 통신들을 위한 2차 센서의 사용 방법

Country Status (5)

Country Link
EP (1) EP1310102A2 (ko)
JP (1) JP2004506354A (ko)
KR (1) KR20020064794A (ko)
CN (1) CN1393111A (ko)
WO (1) WO2002013535A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535626B2 (ja) * 2006-07-28 2014-07-02 コーニンクレッカ フィリップス エヌ ヴェ ショップウィンドーに沿って自動的に分布するプライベート用スクリーン
US8994845B2 (en) 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
EP2658245B1 (en) * 2012-04-27 2016-04-13 BlackBerry Limited System and method of adjusting camera image data
EP3477941B1 (en) * 2017-10-27 2020-11-25 Axis AB Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
AUPP340798A0 (en) * 1998-05-07 1998-05-28 Canon Kabushiki Kaisha Automated video interpretation system
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation

Also Published As

Publication number Publication date
JP2004506354A (ja) 2004-02-26
WO2002013535A2 (en) 2002-02-14
EP1310102A2 (en) 2003-05-14
CN1393111A (zh) 2003-01-22
WO2002013535A3 (en) 2002-06-13

Similar Documents

Publication Publication Date Title
EP1431912B1 (en) Method and system for determining an area of importance in an archival image
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
US11743583B2 (en) Imaging apparatus and setting screen thereof
CN108055452B (zh) 图像处理方法、装置及设备
US6873727B2 (en) System for setting image characteristics using embedded camera tag information
US9774880B2 (en) Depth-based video compression
US20080129857A1 (en) Method And Camera With Multiple Resolution
US20070092244A1 (en) Camera exposure optimization techniques that take camera and scene motion into account
TW200939779A (en) Intelligent high resolution video system
US20090097754A1 (en) Video communication device and image processing system and method of the same
JPH05191718A (ja) 撮像装置
EP1695542A1 (en) Method and ystem for determining camera operating parameters from a region of interest in evaluation images
CN104349039B (zh) 视频防抖方法和装置
CN106888355B (zh) 比特率控制器和用于限制输出比特率的方法
CN111355936B (zh) 用于人工智能的采集和处理图像数据的方法及系统
CN103118226A (zh) 光源估计装置、光源估计方法、光源估计程序和成像设备
CN108053438A (zh) 景深获取方法、装置及设备
KR20020064794A (ko) 최적화된 비디오 통신들을 위한 2차 센서의 사용 방법
US7019776B1 (en) Method and system for automatic white balancing
JPH03230691A (ja) ディジタル電子スチルカメラ
US7483059B2 (en) Systems and methods for sampling an image sensor
JP2005109757A (ja) 画像撮像装置、画像処理装置、画像撮像方法、及びプログラム
US7742082B1 (en) System and method for increasing the sensitivity of an optical detector
JP2004266669A (ja) 監視カメラ並びに撮像方法
KR200273661Y1 (ko) 무인 감시 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid