KR101075619B1 - 화상 전화시 영상을 정렬하기 위한 이동 단말 및 방법 - Google Patents

Abstract

본 발명은 셀룰러 통신망에서 영상을 수신하는 비디오 카메라와 표시 수단을 구비하는 이동 단말에 관한 것으로서, 상기 이동단말은 i) 기준 영상으로 제 1 영상을 제공하고, ii) 상기 영상이 정렬되었는지 판단하기위한 제 2 영상을 제공하고, iii) 상기 제 1 및 제 2 영상을 처리하고, 상기 처리과정은 에지 검출을 포함하며, iv) 상기 처리된 제 1 및 제 2 영상을 상관하고, v) 상기 영상이 오정렬인지 판단한다.

이동통신 단말기, 화상 통신, 영상 정렬

Description

화상 전화시 영상을 정렬하기 위한 이동 단말 및 방법{MOBILE TERMINAL AND METHOD FOR ALIGNING A VIDEO IMAGE IN A VIDEO CALL}

도 1은 본 발명이 적용되는 화상전화의 개략적인 구조를 도시한 정면도,

도 2는 본 발명에 따른 화상전화의 기능 요소를 개략적으로 도시한 블록도,

도 3은 본 발명의 일 실시예에 따라 영상 정렬 동작을 도시한 흐름도,

도 4A 및 도 4B는 본 발명의 일 실시예에 따라 컨벌루션(convolution) 동작을 개략적으로 도시한 도면,

도 5는 본 발명의 다른 실시예에 따라 사분면에 따른 특징 상관 기법 (quadrant based salient feature correlation technique)을 도시한 흐름도,

도 6A, 6B 및 6C는 도 5에 나타난 상기 기법을 개략적으로 도시한 도면,

도 6D는 본 발명의 일실시예에 따라 단말의 디스플레이를 도시한 개략도,

도 7은 본 발명의 일실시예에 따라 특징 마스크 결정을 도시한 개략도.

본 발명은 이동통신 단말에 관한 것으로서 특히, 화상 전화시 영상을 정렬하기 위한 단말 및 방법에 관한 것이다.

일반적으로 화상 디스플레이 기능(video capability)은 3세대 이동전화의 장점 중 하나로서, 일부 3세대 단말은 완전 쌍방향 화상전화가 가능하도록 설계되었다. 화상회의 시스템은 소위 PIP (Picture-In-Picture) 기능을 구비하여 망에서 전송된 영상과 함께 카메라로 촬영한 사진이나 영상을 모니터링할 수 있다. 상기 망에서 전송된 영상을 화면에 표시함과 동시에 상기 모니터링 영상은 대개 화면의 한 구석에 삽입된다. 따라서 사용자는 전송 영상은 보다 큰 포맷으로, 그리고 모니터링 영상은 상기 주영상에 비해 상대적으로 작은 형태로 볼 수 있다.

본 출원인이 앞서 출원한 발명에서 (20003년 9월 26일 출원한 영국 특허 출원 GB 0322513.3, 대리인 참조 번호 J45670GB) 개시한 단말은 카메라로 촬영한 영상의 오정렬을 결정하기 위해 상기 촬영된 비디오 데이터를 분석하고, 상기 영상이 오정렬되었을 경우, 사용자에게 이를 알린다. 상기 출원을 본 명세서에서 참조 병합한다.

전술한 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은, 영상이 오정렬인지를 결정하는 방법을 제안함에 있다.

상기 본 발명의 목적을 이루기 위해 창안된 본 발명의 일 측면에 따르면, 셀룰러 통신망에서 영상을 수신하는 비디오 카메라와 표시 수단을 구비하는 이동 단말이 i) 기준 영상으로 제 1 영상을 제공하고, ii) 상기 영상이 정렬되었는지 판단하기위한 제 2 영상을 제공하고, iii) 상기 제 1 및 제 2 영상을 처리하고, 상기 처리과정은 에지 검출을 포함하며, iv) 상기 처리된 제 1 및 제 2 영상을 상관하고, v) 상기 영상이 오정렬인지 판단함을 특징으로 한다.

이렇게 상기 단말은 카메라로 촬영한 영상을 기준 영상과 비교하고 상기 두 영상을 상관하여 상기 촬영 영상이 바르게 정렬되었는지 판단한다. 상기 영상을 상관하기 이전에 에지 검출을 하여 상관 성능을 상당히 개선한다.

본 발명의 다른 측면에 따르면, 셀룰러 통신 망에서 영상을 수신하는 비디오 카메라와 상기 카메라에서 수신된 영상이 정렬 또는 오정렬인지 판단하는 수단을 구비하는 이동 단말이 i) 에지 검출을 통해 상기 영상을 처리하고, ii) 상기 영상을 하나 이상의 서브-영상으로 분할하고, iii) 각 서브-영상에서 가장 강한 에지를 결정함을 특징으로 한다.

본 발명에 적용되는 방법이 다른 방법에 비해서 환경변화에 덜 민감하므로, 상관 과정 또는 다수의 상관 과정을 통해 정확한 매칭 동작을 실행할 수 있다.

또한, 상기 방법은 특히 조명 상태가 좋지 않아도 영상 정렬의 신뢰성을 높인다. 왜냐하면 카메라에 의해 수신한 영상이 정렬인지 오정렬인지 판단하기 위해 가장 두드러진, 즉 가장 강한 특징을 선택하기 때문이다.

본 발명의 다른 측면에 따르면, 카메라를 구비하는 이동 단말의 동작 방법은 i) 기준 영상으로 제 1 영상을 제공하고, ii) 상기 영상이 정렬되었는지 판단하기위한 제 2 영상을 제공하고, iii) 상기 제 1 및 제 2 영상을 처리하고, 상기 처리과정은 에지 검출을 포함하며, iv) 상기 처리된 제 1 및 제 2 영상을 상관하고, v) 상기 영상이 오정렬인지 판단함을 특징으로 한다.

본 발명의 다른 측면에 따르면, 영상의 주요 특징을 검색하는 방법은 i) 에지 검출을 통해 상기 영상을 처리하고, ii) 상기 영상을 하나 이상의 서브-영상으로 분할하고, iii) 각 서브-영상에서 가장 강한 에지를 결정함을 특징으로 한다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

도 1은 이동 통신 단말 10을 개략적으로 나타낸 도면이다. 상기 단말 10은 디스플레이 26, 카메라 24, 마이크 16, 스피커 18, 키패드21, 및 네비게이션 키들23으로 구성된다.

도 2는 본 발명의 실시예들에 공통적으로 포함될 수 있는 주요 기능 요소들을 개략적으로 나타낸 도면이다. 이들 기능 요소들 각각은 이미 공지된 기술로서 여기에서는 상세하게 설명하지 않는다. 주 프로세서 36으로서 기존의 프로그래머블 마이크로프로세서(예를 들면, 인텔사의 80386, 80486등)를 사용하거나, 특정 용도 또는 특정 구성을 가진 장치(예를 들면, 디지털 신호 처리기)를 사용할 수도 있다. 롬 38은 주 프로세서 36에 연결되어 프로그램, 데이터 및 영상을 저장하는데 이용 된다. 상기 롬 38은 적절한 기술을 이용해, 이를테면 플래쉬 피롬(flash PROM)으로 실행될 수 있다. 램 40은 버스 42를 통해 상기 주 프로세서 36에 연결되며 CCD (Charge Coupled Device)비디오 카메라 24로 촬영한 데이터 및 영상을 저장하는 작업 메모리로 사용된다.

상기 카메라 24로 촬영한 데이터에 관련된 신호는 카메라 인터페이스 44를 거쳐 상기 주 프로세서 36에 인가되어 처리된다. 상기 카메라 인터페이스 44는 상기 카메라 24에서 촬영된 데이터를 디지털 신호로 비디오 코덱 46에 제공한다. 상기 비디오 코덱 46은 디스플레이 및/또는 이동통신 시스템에 전송하기 위해 상기 입력 신호를 적절하게 처리한다.

상기 카메라 인터페이스 44는 상기 카메라 24로부터 수신한 영상에 요구되는 모든 신호 컨디셔닝(signal conditioning)을 수행한다. 신호 컨디셔닝은 카메라의 설정 자체에 따라 달라지지만, 촬영 데이터의 충분한 버퍼링(Buffering)과 함께 정확한 아날로그-디지털 변환이 가능하도록 이루어지는 것이 바람직하다. 상기 카메라 24는 완전 포맷된 비디오 신호를 전송하는 모든 기능을 갖춘 카메라에 반드시 있어야할 모든 회로를 포함하며, 또한 전원 공급 제어 전압 조절 회로와, 상기 화상전화가 외부 장치에 연결될 경우 표준 VDU를 직접 구동하는 적절한 출력 버퍼를 포함할 수 있다.

디스플레이 인터페이스 52는 버스 42를 통해 상기 디스플레이 26을 상기 프로세서 36에 연결한다. 상기 디스플레이 인터페이스 52는 프로세서 36의 명령에 응답하여 상기 내장 디스플레이 26을 종래 방식대로 구동한다.

상기 디스플레이 26은 터치 스크린 56을 구비한다. 터치 스크린 인터페이스는 상기 터치 스크린 디스플레이 26을 버스 42를 통해 주 프로세서36에 연결한다. 상기 터치 스크린은 비디오 디스플레이 26과는 독립된 메카니즘으로서, 예를 들면 디스플레이 26상에 위치하여 적절히 연결된 투명 터치 스크린 막(Membrane)이 사용될 수 있다.

상기 프로세서 36은 디스플레이 26에 사용자가 선택할 수 있는 아이템들이 있는 메뉴를 전송하고 사용자가 선택한 아이템을 입력하기 위해 누른 스크린 위치에 반응하도록 정렬될 수 있다. 따라서 상기 터치 스크린은 재구성 가능한 동적 사용자 인터페이스 역할을 한다. 적절하다고 생각되는 경우, 외부 키보드나 음성에 의한 명령어 대신에 또는 이에 부가적으로 터치 스크린을 통해 명령어를 입력할 수 있다. 또한 상기 터치 스크린 영역을 데이터 입력 및 명령어 서술을 가능케 하는 범용 영역으로 구성할 수도 있다.

오디오 인터페이스 50은 마이크 18과 같은 오디오 수신 수단과 이어폰과/또는 스피커16과 같은 오디오 송신수단을 프로세서 36에 연결하고, 오디오 신호 입출력을 위해 필요한 모든 신호 컨디셔닝을 수행한다.

무선 주파수(Radio Frequency) 인터페이스 62는 버스 42를 통해 연결되고, 송신 데이터를 RF 송신기 64를 통해 송신되는 신호로 변환하며 RF 수신기 66에서 입력된 신호를 데이터로 변환해서 상기 버스를 통해 관련 인터페이스들로 제공한다. 상기 RF 송신기 64 및 상기 RF 수신기 66은 무선 안테나 28에 연결된다. 결국, 상기 RF 인터페이스 62는 화상 전화와 이동통신 시스템간의 무선 통신을 가능하게 한다.

상기 프로세서 36은 제어 프로그램들과, 롬 38에 저장된 데이터와 동작시에는 램 40에 저장된 데이터에 따라 프로그램되어, 카메라 인터페이스 44를 통해 카메라 24로부터 신호를 수신하고, 이들 신호를 해석하고, 또한 상기 해석을 통해 데이터를 검출하여, 이들 데이터가 디스플레이 26에 표시되어 램 40이나 다른 적절한 메모리에 저장될 수 있도록 한다.

리프레쉬율(refresh rate)과 영상에 사용되는 픽셀 수에 따라, 상기 화상 전화에서 송수신하는 영상 데이터는 공지의 셀룰러 무선망에서 현재 사용되는 것과 같은 저속 무선 채널을 통한 송신을 위한 압축이 요구될 수 있다. 비디오 데이터를 MPEG-4 표준에 따라 압출할 수 있다. 또는 촬영한 영상을 이동 통신 시스템에서 데이터 송신 가능한, 이를테면 WO95/20296에 개시된 바와 같은 다른 포맷으로 압축할 수도 있다.

하기에서는 도 3을 참조하여 본 발명의 일실시예를 설명한다.

101 단계에서, 상기 단말은 화상회의를 위한 소위 "이상 영상(ideal image)"을 가진다. 이상 영상은 대개 사용자의 얼굴 사진이 된다. 상기 이상 영상을 제공하기 위해, 사용자는 단말에 있는 카메라로 자기 얼굴의 위치 및/또는 크기를 주의깊게 조절해서 사진을 찍는다. 또는 사용자는 얼굴과 상체를 함께 찍어 이상 영상을 만들 수도 있다.

103 단계에서, 상기 이상 영상을 처리하여 이상 영상의 주요 특징을 추출한다. 이때 에지 검출 방식(edge detection process)을 이용한다. 이렇게 하면 상기 이상 영상의 주요 특징을 공간을 절약하면서 편리하게 저장할 수 있다. 하기에서 에지 검출 방식을 보다 상세하게 설명한다.

105 단계에서 상기 처리된 이상 영상을 참조용으로 저장한다.

상기 101 단계에서 상기 105 단계에 이르는 과정은 사용자가 화상 전화를 시작하기 전에 수행된다.

상기 107 단계에서 117 단계는 화상 전화나 화상 회의 진행중에 수행된다.

카메라가 구동되면, 카메라 렌즈에 나타나는 대로 프레임 저장 장치를 이용해 사용자의 즉석 사진을 찍는다. 자동 이득 및/또는 오프셋 조절 시스템과 같은 보정 장치가 사용되어도, 상기 즉석 사진은 조명 상태에 따라 화질이 다를 수 있다. 이러한 이유로 에지 검출 방법에서 에지 영상(edge image)을 이용한다. 에지는 그레이 레벨 픽셀값보다는 변화가 적은 것으로 간주되기 때문이다.

107단계에서, 상기 단말은 카메라로 촬영한 상기 현재 영상을 수신한다. 109단계에서, 상기 프레임 저장장치에 저장된 즉석 사진, 즉 상기 현재 영상을 103단계에서 이상 영상을 처리한 것과 기본적으로 동일한 방식으로 처리한다. 현재 영상의 주요 특징을 에지 검출 방법을 이용해 추출한다.

111단계에서 상기 단말의 프로세서는 상기 처리된 이상 영상과 현재 영상을 수신하고 두 영상을 상관처리한다. 본 발명에 적절한 상관 처리 방법은 하기에서 더 상세하게 설명할 것이다. 113단계에서 상기 프로세서는 현재 영상이 이상영상에 의해 바람직한 컷-아웃(cut-out)을 보이고 있는지 판단한다.

그럴 경우, 단말의 카메라의 위치를 수정할 필요가 없으므로 프로세서는 107 단계에서 카메라로 촬영한 다음 영상을 계속 수신한다.

만약 113단계에서 현재 영상이 바람직한 컷-아웃을 보이고 있지 않다면, 상기 프로세서는 현재 영상을 개선하여 화상 전화 상대방에게 바람직한 영상을 제공하기 위해 115단계에서 사용자가 카메라나 단말을 어느 방향으로 이동시켜야 하는 지를 결정한다.

117단계에서 상기 단말은 사용자에게 상기 결정된 이동방향으로 상기 단말의 이동이 요구됨을 알린다. 이후 화상 전화가 진행되는 동안 107단계에서 다음 영상을 수신하고 처리할 준비를 한다.

도 3을 참조하여 설명한 상기 동작을 실행하기 위해 모든 개별 영상을 처리할 필요는 없다. 소정의 시간내에서, 예를 들면 1초에 한번 "현재" 영상 하나를 처리하는 것으로 충분할 수 있다.

하기에서는 본 발명을 실시하는데 적절한 에지 검출 방법을 설명할 것이다. 상기 에지 검출 방법은 103단계의 이상 영상 에지 검출과 107단계의 현재 영상 에지 검출을 위해 사용된다.

이후 111단계의 상관 과정과 115단계의 카메라 정렬을 위한 움직임 결정을 설명할 것이다.

에지 검출

하기에서는 8개의 상대적으로 작은 에지 검출 마스크를 이용한 에지 검출 방법을 설명한다. 이러한 방식은 이동 단말에 적합하다. 8개의 3X3 픽셀 마스크의 일 예는 다음과 같다.

이들 마스크는 공지의 기술로서, 8개의 기본 방향, 하기에서는 동, 남동, 남, 남서, 서, 북서, 북, 북동쪽에 해당한다.

상기 마스크들은 촬영된 영상과 컨벌루션(convolution) 처리된다. 본 발명의 일실시예에 따르면, 상기 컨벌루션은 영상을 푸리에(Fourier) 영역으로 변환하고 상기 푸리에 영역 영상을 푸리에 영역으로 변환된 상기 각 마스크를 곱하여 이루어진다. 이는 마스크값이 없는, 제로 값만을 포함하는 보다 큰 영상에 마스크를 끼워넣는 것이다. 상기 마스크 값들을 상기 영상의 상단 우측에 입력한다. 이러한 마스크 값 삽입 과정을 통해 동일한 크기를 가지는 두개의 영상이 발생하며 이들 영상을 푸리에 영역으로 변환하면 픽셀 별로 쉽게 곱할 수 있다. 푸리에 영역에서 각 픽셀값은 복소수값, 즉 실수부와 허수부를 가진다. 이렇게 각 마스크를 상기 푸리에 영역 영상과 픽셀별로 곱하면 푸리에 영역에서 8개의 중간 결과값이 생긴다. 이 제 공간 영역에서 8개의 영상을 얻기 위해서 역 푸리에 변환을 한다. 이후 상기 8개의 영상을 합산하여 정규화하면, 상기 촬영 영상에 대한 최종 에지 영상을 얻는다.

상기 최종 영상은 바로 현재의 형태 그대로 저장된다. 특히 메모리 공간이 한정되어 있을 경우, 상기 에지 영상을 메모리 공간이 절약될 수 있도록 처리할 수도 있다. 예를 들면, 각 픽셀 값을 소정의 임계치와 비교하여 상기 영상을 이진 영상으로 변환할 수 있다.

완벽한 에지 영상을 얻는 또 다른 방법은 공간 영역에서 처리하는 것이다. 특히 에지 검출 마스크가 상대적으로 작을 경우, 이를테면 8x8 픽셀이하인 경우, 이 방법이 유용하다. 각 마스크는 원래의 영상과 공간 영역에서 다시 컨벌루션 처리된다. 그런데, 공간 영역에서는 전체 영상상에서 상기 마스크를 라스터 스캔 (raster-scan) 방식으로 좌측으로 이동시킨다. 3x3 픽셀 크기의 마스크에 대한 컨벌루션 동작이 도 4A 및 도 4B에 도시되어 있다. 도 4A에는 원 영상 70과 사선으로 표시된 마스크 72가 나타나 있다. 도 4B에는 원 영상 70과 사선으로 표시된 출력 영상 80이 나타나 있다. 상기 컨벌루션 동작은 우선 마스크 72를 원 영상 70의 상단 우측에 두고, 상기 출력 영상 80에 기록되는 하나의 에지값이 나오도록 적절한 처리를 함으로써 시작된다. 이후 상기 마스크 72는 상기 원 영상에서 1 픽셀 이동한다. 동일한 동작을 되풀이하여 다시 하나의 출력 값을 얻어 상기 출력 영상에서 이전 값 옆에 기록한다. 상기 마스크 72는 원 영상 70에 대해 화살표 74가 가리키는 방향으로 이동한다. 상기 동작은 원 영상의 좌측 에지에 이를 때까지 반복된다. 이후 원 영상에서 1 픽셀 아래 반대 에지쪽으로 마스크를 이동하여 다시 처리를 반복한다. 이렇게 마스크는 라스터-스캔 방식으로 원 영상 전체를 커버한다.

각 마스크 위치에서 수행되는 상기 동작은 각 픽셀에 대해 마스크 값들과 마스크가 있는 위치에서의 영상 픽셀 값들을 곱하는 과정을 포함한다. 예를 들어, 3x3 픽셀 크기의 마스크의 경우, 마스크 위치당 9번의 곱셈 연산을 한다. 이들 곱을 합산하여 마스크의 특정 위치에 대해 출력 영상 80에 기록되는 하나의 출력 값을 얻는다. 마스크를 원 영상의 에지들과 겹치지 않도록 하기 때문에 상기 출력 영상은 원 영상보다 크기가 약간 작다. 도 4B에 도시된 바와 같이, 3x3 에지 검출 마스크의 경우, 출력 영상 에지 82는 1 픽셀이 된다. 5x5 에지 검출 마스크의 경우, 출력 영상 에지는 2 픽셀이 된다. 다음 단계에서 영상 처리시 이러한 점을 고려해야 한다.

공간 영역에서 상기 과정을 다시 이용하여 8개의 에지 검출 마스크에 해당하는 8개의 출력 영상들을 발생한다. 이들 영상을 합산하여 정규화하면 촬영 영상에 대한 최종 에지 영상이 된다.

또한, 공간 영역에서 이러한 방식으로 처리된 상기 영상은 앞서 설명한 바와 같이 바로 저장하거나 이진 영상으로 변환된다.

상관 동작

도 3을 참조하여 설명한 바와 같이, 111단계에서 완전한 에지 영상을 사용자의 즉석 에지 영상과 상관한다. 감산 방식, 승산 방식, 그외 공지의 혼합 방식을 포함한 다양한 상관 방법을 이용할 수 있다. 하기에서는 사분면에 따른 특징 상관 (quadrant based salient feature correlation)이라는 새로운 방식을 설명한다. 이 방법은 환경 변화에 따른 변화가 그다지 심하지 않으므로, 보다 정확한 상관 결과를 얻을 수 있다.

상기 방법에 따르면, 저장된 영상의 중심에 초점을 맞추기 위해 저장된 에지 영상과 수신된 즉석 에지 영상을 4번 독립적으로 상관한다.

도 5에 도시된 흐름도를 참조하여 상기 상관 방법을 상세히 설명한다. 201단계에서 상기 저장 영상의 중심을 시작 "목표점(aimpoint)"으로 한다. 임의의 영상 프레임 300과 그 중심 320이 도 6A에 나타나 있다.

203단계에서, 저장 에지 영상을 4개의 분면으로 분할한다. 상기 사분면들은 불확실 경계들(uncertainty boundaries)을 가지는데 이들은 상기 영상의 에지나 이와 근접한 위치에서 상관이 일어나지 않도록 한다. 앞서 설명한 바와 같이 204단계에서 에지 검출을 한 후, 205단계에서 각 사분면에 대해 어느 에지가 가장 강한지 판단한다. 예를 들면, 각 사분면에서 가장 높은 에지 값을 검출하거나 로컬 픽셀 그룹들에서 가장 높은 값을 검출한다. 가장 높은 값들을 가지는 영역을 상기 영상에서 가장 강한 특징을 가지는 영역으로 간주한다. 이들을 각 사분면에 대해 가장 두드러진, 즉 가장 신뢰할만한 특징들로 가정한다. 207단계에서, 이들 특징을 소위 특징 마스크들에 맵핑한다. 각 사분면에 대해, 하나의 특징 마스크가 추출된다.

도 7은 가장 강한 특징을 가지는 영역을 검출하고 상기 특징을 특징 마스크에 맵핑하는 과정을 도시한다. 도 7에서 상기 에지 검출 과정에서 결정된 에지 영상의 일부 400이 나타나 있다. 상기 영상은 에지 영상의 특정 위치들에서 원 영상 의 에지들을 나타내는 에지값들 410, 412, 414, 416을 포함한다. 상기 에지 값들은 그룹 410, 412, 414, 416으로 분류되며 각 그룹은 원 영상에서 검출된 각 에지를 나타낸다. 특징 인식과정에서 가장 높은 에지 값들을 포함하는 그룹 412를 가장 강한 특징 440으로 결정하고 상기 특징 420을 포함하는 영역430을 특징 마스크 440으로서 추출한다.

다시 도 5를 참조하면, 209단계에서, 각 특징 마스크와 상기 영상의 중심, 즉 목표점과의 기하학적 관계를 결정하고 메모리에 저장한다.

이 과정은 먼저 상기 마스크의 중심 위치를 결정하고 그 다음에 각 마스크 중심과 상기 프레임의 목표점간의 직선들의 각과 교점을 결정하는 것이다.

211단계에서 다음 프레임, 즉 상기 즉석 영상을 수신하여 212단계에서 에지 검출한다. 처리된 에지 영상은 마찬가지로 213단계에서 사분면들로 분할된다. 그런데, 일단 분면 분할이 되면, 207단계에서 저장된 이전 영상의 에지 특징 마스크들을 215단계에서 상기 수신된 에지 영상 사분면들과 상관한다. 마스크들이 에지들에 가장 잘 매치되는 위치를 결정한다. 이들 최적 매치 위치들이 검색되면 이들 마스크 위치들과 전체 영상의 중심간의 기하학적 관계를 결정하고 209단계에서 저장된 기하학적 관계를 비교한다. 217단계에서는, 215단계와 209단계에서 결정된 기하학적 관계간의 차이를 이용하여 카메라를 정확히 정렬하기위해 어느 방향으로 단말을 움직여야 하는지 표시한다.

최적 매치점과 기하학적 관계를 결정함과 더불어, 앞서 설명한 바와 같이 205단계에서 각 분면에서 가장 강한 에지를 판단한다. 207단계에서, 가장 강한 에 지들은 211단계에서 수신한 영상에 해당하는 에지 특징 마스크들에 다시 매핑된다. 그리고 이들 새 마스크들은 다음 사용을 위해 저장된다.

이렇게 원 영상을 항상 참조하는 것이 아니라 프레임별로 수신한 현재 영상을 참조한다.

도 6B는 이전에 결정한 마스크들을 다음 영상과 상관한 후 새로운 목표점을 찾는 과정을 도시한다.

첫 단계에서 이전 마스크 301 내지 304와 현재 처리되는 영상의 에지들간의 최적 매치를 판단한다.

그리고 나서, 새 마스크 위치들간의 기하학적 관계를 결정한다.

예를 들면, 마스크의 원래의 정렬에 따른 기하학적 관계에서 결정된 각과 동일한 각을 가지는 새로이 정렬된 마스크 각각으로부터 직선 311 내지 314를 영상 중심으로 긋는다.

다음 단계에서, 이들 네 개의 직선 311 내지 314간의 교점 321을 결정한다. 상기 4개의 직선이 한 점에서 교차하지 않으면, 각 직선 쌍간의 모든 교점들을 고려하여 교점 321을 근사화한다.

도 6C는 프레임 300, 상기 프레임의 중심 320, 도 6B를 참조하여 앞서 설명한 새로운 목표점321을 도시한다. 새 목표점 321과 영상 중심 320을 연결하여 영상 정렬을 위해 카메라를 움직일 방향을 결정한다. 그런 후 단말은 사용자에게 화살표330을 표시하여 카메라가 움직여야 될 방향을 나타낸다.

혹은, 다른 방법을 통해 사용자에게 이동 방향을 알릴 수 있다. 예를 들면, 단말의 디스플레이 26에 도 6D에 도시된 것과 같은 화살표 340 어레이를 구비한다. 소정 방향을 나타내기 위해, 단말은 상기 방향 또는 여러 방향의 조합을 하이라이트 표시한다. 예를 들면, 도 6C의 화살표 330에서 보듯이 "남동쪽"을 나타내기 위해 단말은 하향(남쪽) 화살표와 우향(동쪽) 화살표를 함께 하이라이트 표시할 수 있다.

상기에서는 카메라나 단말이 그다지 회전하지 않는다는 전제로 설명이 이루어졌지만, 카메라의 회전을 고려하여 상기 과정을 수정할 수도 있다. 이 경우, 상관 과정이 수정되는데 예를 들면 극좌표를 이용해 상관할수 있다. 또는 회전 동작을 적절한 형태로 도입할 수도 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 상기 실시예들에서는 시각적인 표시를 이용하는 것으로 설명하였으나 영상 정렬을 위해 요구되는 카메라의 이동을 청각적으로 또는 촉각적으로 알릴 수도 있다. 이를 테면 카메라가 촬영한 영상이 오정렬되면 단말이 진동하거나 하나 또는 그 이상의 소정 톤, 멜로디, 음성을 발생하여 상기 오정렬을 알릴 수 있다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

따라서 본 발명에서는 이동 단말을 이용한 화상 통화시, 영상이 오정렬되었을 경우 이를 사용자에게 알릴 수 있을 뿐만 아니라 사용자에게 구체적으로 어느 방향으로 이동 단말 또는 카메라를 이동시켜야 하는지를 알려줄 수 있다.

Claims (24)

1. 셀룰러 통신 망에서 영상을 수신하는 비디오 카메라와 표시 수단을 구비하는 이동 단말에 있어서,

   기준 영상으로 제 1 영상을 제공하고,

   상기 영상이 정렬되었는지 판단하기위한 제 2 영상을 제공하고,

   상기 제 1 및 제 2 영상을 처리하고, 상기 처리과정은 에지(Edge) 검출을 포함하며,

   상기 처리된 제 1 및 제 2 영상을 상관하고,

   상기 영상이 오정렬인지 판단하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
2. 제1항에 있어서,

   상기 이동단말이 상기 영상이 오정렬임을 판단하면, 상기 표시 수단을 통해 상기 영상 오정렬을 사용자에게 알리는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
3. 제2항에 있어서,

   상기 이동 단말이 상기 표시 수단을 통해 상기 영상 오정렬을 사용자에게 알리는 경우 상기 영상을 어떻게 정렬하는지 상기 사용자에게 알려주는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
4. 제3항에 있어서,

   상기 영상의 정렬을 위해 상기 카메라의 이동 방향을 상기 사용자에게 알려주는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
5. 제1항에 있어서,

   상기 영상이 정렬되었는지 그렇지 않은지를 상기 사용자에게 알려주는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
6. 제1항에 있어서,

   상기 영상 오정렬을 시각적, 청각적, 또는 촉각적으로 상기 사용자에게 알려주는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
7. 제1항에 있어서, 상기 제 1 영상은,

   단지 참조용으로만 제공되는 영상임을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
8. 제1항에 있어서, 상기 제 1 영상은,

   상기 제 2 영상을 포함하는 영상 열에서 앞서 수신되는 프레임임을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
9. 제1항에 있어서,

   상기 이동 단말이 상기 제 1 및 제 2 영상을 처리하는 것은, 상기 제 1 및/또는 제 2 영상을 하나 이상의 서브-영상으로 분할하고 각 서브-영상에서 가장 강한 에지를 검출하는 것임을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
10. 제9항에 있어서,

    각 서브-영상에서 가장 강한 에지를 마스크(Mask)에 매핑하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
11. 제10항에 있어서,

    상기 마스크들을 이후 사용하기 위해 저장하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
12. 제11항에 있어서,

    상기 이동 단말이 하나의 영상에서 얻은 마스크 또는 마스크들을, 다른 영상과 상관하여 상기 영상이 오정렬인지 판단하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
13. 셀룰러 통신망에서 영상을 수신하는 비디오 카메라와 상기 카메라에서 수신된 영상이 정렬 또는 오정렬인지 판단하는 수단을 구비하는 이동 단말에 있어서, 상기 단말은

    에지(Edge) 검출을 통해 상기 영상을 처리하고,

    상기 영상을 하나 이상의 서브-영상으로 분할하고,

    각 서브-영상에서 가장 강한 에지를 결정하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
14. 제13항에 있어서,

    상기 이동 단말이 상기 영상을 하나 이상의 서브-영상으로 분할하는 것은 각 서브-영상에서 가장 강한 에지를 마스크에 매핑하는 것임을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
15. 제14항에 있어서,

    상기 마스크를 이후 사용하기 위해 저장하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
16. 제13항에 있어서,

    상기 이동 단말이 하나의 영상에서 얻은 마스크 또는 마스크들을 상관하여 상기 영상이 정렬인지 오정렬인지 판단하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 이동 단말.
17. 카메라가 구비된 이동 단말의 동작 방법에 있어서,

    기준 영상으로 제 1 영상을 제공하는 제 1 영상 제공 단계와,

    상기 영상이 정렬되었는지 판단하기위한 제 2 영상을 제공하는 제2 이미지 제공 단계와,

    상기 제 1 및 제 2 영상을 처리하고, 상기 처리과정은 에지(Edge) 검출을 포함하는 처리 단계와,

    상기 처리된 제 1 및 제 2 영상을 상관하는 상관 단계와,

    상기 영상이 오정렬인지 판단하는 판단 단계를 구비하는 것을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 방법.
18. 제17항에 있어서,

    상기 제 2 영상의 정렬에 대한 보정이 필요한지 판단하는 보정 필요 판단 단계를 더 포함함을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 방법.
19. 제18항에 있어서,

    상기 제 2 영상을 정렬하기 위해 상기 단말의 이동이 요구됨을 사용자에게 알리는 이동 요구 알림 단계를 더 포함함을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 방법.
20. 제19항에 있어서,

    상기 카메라의 정렬을 위해 상기 카메라와/또는 상기 단말을 어떻게 이동하여야 할 것인지를 알려주는 이동 방향 알림 단계를 더 포함함을 특징으로 하는 화상 전화시 영상을 정렬하기 위한 방법.
21. 영상의 주요 특징을 검색하는 방법에 있어서,

    에지(Edge) 검출을 통해 상기 영상을 처리하고 영상 처리 단계와,

    상기 영상을 하나 이상의 서브-영상으로 분할하는 분할 단계와,

    각 서브-영상에서 가장 강한 에지를 결정하는 결정 단계를 구비하는 것을 특징으로 하는 영상의 주요 특징을 검색하는 방법.
22. 영상의 주요 특징을 검색하는 프로그램이 구비된 저장매체에 있어서,

    에지(Edge) 검출을 통해 상기 영상을 처리하고 영상 처리 단계와,

    상기 영상을 하나 이상의 서브-영상으로 분할하는 분할 단계와,

    각 서브-영상에서 가장 강한 에지를 결정하는 결정 단계를 실행하는 영상의 주요 특징을 검색하는 프로그램이 구비된 저장매체.
23. 영상의 주요 특징을 검색하는 프로그램이 구비된 단말기에 있어서,

    에지(Edge) 검출을 통해 상기 영상을 처리하고 영상 처리 단계와,

    상기 영상을 하나 이상의 서브-영상으로 분할하는 분할 단계와,

    각 서브-영상에서 가장 강한 에지를 결정하는 결정 단계를 실행하는 영상의 주요 특징을 검색하는 프로그램이 구비된 단말기.
24. 제23항에 있어서, 상기 단말기는,

    컴퓨터를 포함하는 것을 특징으로 하는 영상의 주요 특징을 검색하는 프로그램이 구비된 단말기.

Images