KR100881526B1 - 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템 - Google Patents

데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템 Download PDF

Info

Publication number
KR100881526B1
KR100881526B1 KR1020010028327A KR20010028327A KR100881526B1 KR 100881526 B1 KR100881526 B1 KR 100881526B1 KR 1020010028327 A KR1020010028327 A KR 1020010028327A KR 20010028327 A KR20010028327 A KR 20010028327A KR 100881526 B1 KR100881526 B1 KR 100881526B1
Authority
KR
South Korea
Prior art keywords
image
picture
transmitted
displaying
circuit
Prior art date
Application number
KR1020010028327A
Other languages
English (en)
Other versions
KR20010107671A (ko
Inventor
아오끼게이스께
모리모또히로후미
다까시마마사또시
나리따히데유끼
히라나까다이스께
이시다요시히로
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010107671A publication Critical patent/KR20010107671A/ko
Application granted granted Critical
Publication of KR100881526B1 publication Critical patent/KR100881526B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

단말기간 통신시 미리 설정된 프레임에 화상 데이터를 수용하여 전송하고, 전송되는 화상의 화질을 자신의 화상의 화질과 거의 동일하게 유지할 수 있는 데이터 전송 방법, 상기 방법을 이용하는 장치, 및 데이터 전송 시스템은, 전송될 타겟 화상을 포함하는 화상을 촬상하고, 상기 얻어진 화상으로부터 전송될 타겟 화상이 화상 프레임을 거의 완전히 채우도록 조정하고, 화상 프레임내의 조정된 화상 데이터를 압축하여 전송하는 것을 포함한다.
Figure R1020010028327
데이터 전송, 화상 프레임, 이동 통신, 음성 및 화상 통신, 단말기

Description

데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템{DATA TRANSMISSION METHOD, APPARATUS USING SAME, AND DATA TRANSMISSION SYSTEM}
도 1은 관련 기술의 영상 통신에서의 단말기 및 전송 채널을 도시한 도면.
도 2는 본 발명에 따른 데이터 전송 시스템으로서의 영상 통신 서비스 시스템의 실시예에 대한 구성도를 도시한 도면.
도 3은 본 발명에 따른 이동 단말기의 구성의 한 예를 도시한 외관도.
도 4는 본 발명에 따른 데이터 전송 장치로서의 단말기의 신호 처리 시스템의 제1 실시예에 대한 회로 다이어그램.
도 5는 제1 실시예에 따른 도 4의 전처리 회로의 회로 다이어그램.
도 6a 및 6b는 전처리 회로에서의 트래킹을 설명하기 위한 개략적인 도면.
도 7a 내지 7c는 초기 레퍼런스 화상의 제1 결정 방법을 설명하기 위한 도면.
도 8a 내지 8c는 초기 레퍼런스 화상의 제2 결정 방법을 설명하기 위한 도면.
도 9는 본 발명에 따른 데이터 전송 장치로서의 단말기의 신호 처리 시스템의 제2 실시예에 대한 회로 다이어그램.
도 10은 제2 실시예에 따른 도 9의 전처리 회로의 회로 다이어그램.
도 11은 얼굴 크기를 계산하는 예를 설명하기 위한 도면.
도 12는 얼굴 부분 검출 서치 범위의 예를 설명하기 위한 도면.
도 13은 얼굴 부분 검출 서치 범위내의 얼굴 화상을 감소시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 14는 얼굴 부분 검출 서치 범위내의 얼굴 화상을 감소시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 15는 얼굴 부분 검출 서치 범위내의 얼굴 화상을 확대시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 16은 얼굴 부분 검출 서치 범위내의 얼굴 화상을 확대시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 17은 본 발명에 따른 데이터 전송 장치로서의 단말기의 신호 처리 시스템의 제3 실시예의 회로 다이어그램.
도 18은 제3 실시예에 따른 도 17의 전처리 회로의 회로 다이어그램.
도 19는 제3 실시예에 따라 지정된 화상 전송 영역내의 얼굴 화상을 축소시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 20은 제3 실시예에 따라 지정된 화상 전송 영역내의 얼굴을 축소시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 21은 제3 실시예에 따른 모니터상의 화상에서 화소수 "f"에 대한 얼굴 색깔의 화소수 "e"와의 비율을 설명하기 위한 도면.
도 22는 제3 실시예에 따라 얼굴 부분 검출 서치 범위내의 얼굴 화상을 축소 시키고, 이를 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 23은 제3 실시예에 따라 얼굴 부분 검출 서치 범위내의 얼굴 화상을 축소시키고, 이를 표시 모니터에 표시하는 처리를 설명하기 위한 도면.
도 24는 제4 실시예에 따라 화상의 트래킹 정밀도를 향상시키기 위해, 전송되는 화상과 동일하거나 또는 더 높은 프레임 레이트로 화상을 페치 및 트래킹하고, 전송 프레임 레이트와 동일하거나 또는 더 높은 레이트로 트래킹하여 레퍼런스 화상을 갱신하는 처리를 설명하기 위한 개념도.
<도면의 주요 부분에 대한 부호의 설명>
50-1, 50-2 : 단말기
61-1, 61-2 : 이동 기지국(MSB)
62-1, 62-2 : 이동 교환국(MSC)
63-1, 63-2 : 게이트웨이 이동 교환국(GMSC)
64 : 회로망
65 : 게이트웨이(GW)
66 : 어플리케이션 서비스 제공자(ASP)
100 : 영상 통신 시스템
본 발명은 복수의 단말기들 사이에서 통신 및 스트리밍을 하는 경우에 화상 을 포함하는 데이터를 전송하는 방법, 휴대전화, PDA, TV 전화 단말기, 및 PC 단말기 등과 같은 데이터 전송 장치, 및 데이터 전송 시스템에 관한 것이다.
복수의 단말기들 사이에서 통신 및 스트리밍을 위한 통신 서비스로서, 도 1에 도시한 바와 같이, 예를 들면 휴대 전화로 구성되는 이동 단말기(MT)에 의해 데이터와 화상을 전송하는 영상 통신 서비스가 있다.
영상 통신 서비스 시스템(1)은 음성 및 화상을 압축하여 이동 단말기(이하에서는 간략히 단말기로 언급함)(2-1)과 단말기(2-2)간의 신호를 전송 채널(3)을 통해 교환함으로써, 상대방 얼굴을 보면서 대화를 즐길 수 있다.
도 1에 도시한 바와 같은 외관을 갖고 있는 단말기(2-1, 2-2) 각각은 본체 케이스(21), 본체 케이스(21)의 아래쪽에 제공되고 전화 기능을 위해 전화 번호를 입력하거나 특정 동작 명령을 입력하기 위한 키패드를 포함하는 조작 패널(22), 조작 패널(22)의 위쪽에 제공되는 표시 모니터(23), 표시 모니터(23) 위쪽에 제공되는 카메라(24)(본체 케이스(21)의 상부), 및 안테나(25)를 구비하고 있다.
전송 채널(3)은 이동 기지국(MBS, 31-1, 31-2), 이동 교환국(MSC, 32-1, 32-2), 홈 위치 등록 레지스터(HLR)를 구비한 게이트웨이 이동 교환국(GMSC, 33-1, 33-2), 및 회로망(35)을 포함한다.
이동 기지국(31-1, 31-2)은 단말기(2-1, 2-2)와 통신한다. 기지국(31-1, 31-2)에 의해 핸들링되는 신호는 그 상위 레벨의 이동 교환국(32-1, 32-2)에 전송되고, 또한 더 상위 레벨의 게이트웨이 교환국(33-1, 33-2)을 통해 백본 회로망(35)으로 전송된다.
그러나, 화상을 회로망(35)으로 전송하는 경우, 회로망의 정보 운반 능력은 회로망(35)의 대역폭에 의해 제한된다.
그러므로, 예를 들면 단말기(2-1)를 이용하여 이야기를 하고 있는 사용자는 화상이 직접 모니터링되므로, 도 1의 23a로 도시한 화상과 같이, 카메라에 의해 고화질로 촬상된 자신의 화상을 볼 수 있지만, 단말기(2-1)에서 압축하여 단말기(2-2)로 전송한 이후에는, 단말기(2-1)로부터 전송된 화상의 화질이 단말기(2-2)에서는 23b에 도시된 화상과 같이 극단적으로 저하된다.
마찬가지로, 단말기(2-1)에서도, 단말기(2-2)에서 단말기(2-1)로 전송된 화상의 화질이 극단적으로 저하된다.
이와 같이, 종래 기술의 화상 전송 시스템에서 전송된 화상은 극단적으로 저하된다. 사용자 자신이 모니터링하는 화상과의 차이가 너무 크게 된다. 이것은 매우 불편한 감정을 일으킬 뿐만 아니라, 상대방의 표정을 명확하게 볼 수 없으므로 스트레스를 느끼게 할 수도 있다.
또한, 단말기(2-1) 또는 (2-2)의 각각에는 카메라를 단말기의 표시 모니터(23) 위에 배치하고 있다. 사용자는 단말기의 표시 모니터(23)를 바라본다. 따라서, 둘 다 아래를 쳐다보고 있으므로 눈을 맞춰 대화를 한다는 것이 불가능하다는 문제가 있다.
본 발명의 목적은 전송된 화상의 화질을 자신의 화상의 화질과 거의 동일하게 유지할 수 있는 데이터 전송 방법 및 그 방법을 이용하는 장치, 및 데이터 전송 시스템을 제공하는 것이다.
본 발명의 제2 목적은 시선을 맞춘 상태에서 통신을 실현할 수 있는 데이터 전송 방법 및 그 방법을 이용하는 장치 및 데이터 전송 시스템을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명은 전송되어야 할 타겟 화상을 포함하는 화상을 촬상하는 단계; 상기 촬상된 화상으로부터 전송되어야 할 상기 타겟 화상이 상기 화상 프레임 전체를 거의 채우도록 조정을 수행하는 단계; 및 상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하는 단계를 포함하는 적어도 화상 데이터를 미리 설정된 크기의 화상 프레임에 수용하여 전송하는 데이터 전송 방법을 제공한다.
또한, 본 발명은 전송되어야 할 타겟 화상을 포함하는 화상을 촬상하는 단계; 상기 촬상된 화상으로부터 전송될 상기 타겟 화상이 미리 설정된 크기가 되도록 조정하는 단계; 및 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하는 단계를 포함하는 적어도 화상 데이터를 전송하는 데이터 전송 방법을 제공한다.
본 발명의 방법은, 타겟 화상이 화상 프레임 전체를 완전히 채우도록 조정을 하는 경우 또는 촬상된 화상에서 타겟 화상이 미리 설정된 크기가 되도록 조정하는 경우에, 전송될 화상의 특징 부분의 화상을 이용하여 매칭을 행하고, 상기 화상의 트래킹을 위한 최적 매칭을 갖는 부분 주위의 화상을 잘라내는 것을 더 포함한다.
또한, 본 발명의 방법은, 타겟 화상이 화상 프레임 전체를 완전히 채우도록 조정을 하는 경우 또는 촬상된 화상으로부터 전송될 타겟 화상이 미리 설정된 크기 가 되도록 조정하는 경우에, 전송될 상기 화상의 특징 부분의 화상을 이용하여 상기 특징 부분의 거리를 계산하고, 이것을 상기 화상의 확대, 축소 및 트래킹에 이용하는 것을 더 포함한다.
또한, 본 발명의 방법은, 화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상의 입력 상태를 모니터링하면서 상기 화상을 원하는 화상 상태로 록킹하고, 상기 록킹된 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 것을 더 포함한다.
또한, 본 발명의 방법은, 화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상의 입력 상태를 표시하고, 표시 스크린상의 특정 위치를 지정하며, 상기 지정된 위치의 주위 부분을 상기 화상의 특징 부분으로서 이용하는 것을 더 포함한다.
또한, 본 발명의 방법은, 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 화상을 전송될 화상과 동일하거나 큰 프레임 레이트로 페치 및 트래킹하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 것을 더 포함한다.
또한, 본 발명의 방법은, 전송된 화상의 입력 상태를 표시하고, 표시 스크린상에 전송될 범위를 지정하여 상기 화상의 전송 범위를 결정하는 것을 더 포함한다.
또한, 본 발명은, 전송되어야 할 사용자의 타겟 화상을 포함하는 화상을 상기 표시 스크린의 거의 중앙으로부터 촬상하는 것을 포함하는 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 수신된 화상 데이터를 표 시 스크린상에 표시하면서, 적어도 화상 데이터를 전송하기 위한 데이터 전송 방법을 제공한다.
또한, 본 발명은, 전송되어야 할 사용자의 타겟 화상을 포함하는 화상을 상기 표시 스크린의 거의 중앙으로부터 촬상하는 단계; 및 상기 촬상 부분으로서 기능하는 상기 표시 스크린의 거의 중앙부로부터 상기 표시 스크린의 상측 또는 하측의 하나에 상기 화상 데이터를 표시하고, 다른 측에 상기 콘텐츠를 표시하는 단계를 포함하는 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터 및 함께 토론중인 콘텐츠를 표시 스크린상에 표시하면서, 적어도 화상 데이터를 전송하기 위한 데이터 전송 방법을 제공한다.
즉, 본 발명의 방법은 표시 스크린상에서 콘텐츠 상측에 화상 데이터를 표시하거나 콘텐츠 하측에 화상 데이터를 표시하는 것을 포함한다.
또한, 본 발명은 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 상기 촬상 수단에 의해 촬상된 화상으로부터 상기 전송될 타겟 화상이 상기 화상 프레임을 거의 완전히 채우도록 조정하기 위한 제1 회로; 및 상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로를 포함하는 데이터 전송 장치를 제공한다.
본 발명은 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 상기 촬상된 화상으로부터 상기 전송될 타겟 화상이 미리 설정된 크기가 되도록 조정하기 위한 제1 회로; 및 상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로를 포함하는 데이터 전송 장치를 제공한다.
본 발명의 데이터 전송 장치에 있어서, 전송될 타겟 화상이 상기 화상 프레임 전체를 완전히 채우도록 조정을 하는 경우 또는 타겟 화상을 미리 설정된 크기가 되도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 상기 화상의 트래킹을 위한 최적 매칭을 갖는 부분 주위의 화상을 잘라낸다.
또한, 본 발명의 데이터 전송 장치에 있어서, 타겟 화상이 상기 화상 프레임 전체를 완전히 채우도록 조정을 하는 경우 또는 전송될 타겟 화상을 미리 설정된 크기가 되도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 상기 특징 부분의 거리를 계산하여 이것을 상기 화상의 확대, 축소 및 트래킹에 이용한다.
또한, 본 발명의 데이터 전송 장치는 화상 데이터를 표시하기 위한 표시 수단; 및 상기 표시 수단에 의해 표시된 화상을 원하는 화상 상태로 록킹할 수 있는 록킹 수단 - 화상의 특징 부분을 검출하는 경우에, 상기 제1 회로는 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용함-을 포함한다.
또한, 본 발명의 데이터 전송 장치는 화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및 상기 표시 수단상에 표시된 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단 - 화상의 특징 부분을 검출하는 경우에, 상기 제1 회로는 상기 지정 수단에 의해 지정된 포인트 주위의 부분을 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용함-을 포함한다.
또한, 본 발명의 데이터 전송 장치에서, 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신한다.
또한, 본 발명의 데이터 전송 장치는 화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및 상기 표시 수단에 의해 표시되는 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단- 상기 제1 회로는 상기 지정 수단에 의해 지정된 상기 범위를 상기 화상의 전송을 위한 범위로 결정함 -를 포함한다.
또한, 본 발명은 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템을 제공하는 것으로서, 상기 단말기는 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 상기 촬상 수단에 의해 촬상된 화상으로부터 상기 전송될 타겟 화상이 상기 화상 프레임을 거의 완전히 채우도록 조정하기 위한 제1 회로; 및 상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로를 포함한다.
또한, 본 발명은 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템을 제공하는 것으로서, 상기 단말기는, 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 상기 촬상 수단에 의해 촬상된 화상으로부터 상기 전송될 타겟 화상이 미리 설정된 크기가 되도록 조정하기 위한 제1 회로; 및 상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로를 포함한다.
또한 본 발명은 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고 상대방의 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템을 제공하는 것으로서, 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단이 상기 표시 스크린의 거의 중앙에 제공된다.
또한, 본 발명은 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터 및 함께 토론중인 콘텐츠를 표시 스크린상에 표시하면서, 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템을 제공하는 것으로서, 상기 표시 스크린의 거의 중앙에 제공되고, 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 및 상기 촬상 부분으로서 기능하는 상기 표시 스크린의 거의 중앙부로부터 상기 표시 스크린의 상측 또는 하측의 하나에 상기 화상 데이터를 표시하고, 다른 측에 상기 콘텐츠를 표시하기 위한 표시 수단을 포함한다.
본 발명에 따르면, 사용자의 얼굴 화상과 같은 타겟 화상이 화상 프레임 전체를 완전히 채우도록 하기 위해, 그 이동에 따라 얼굴 화상이 확대, 축소 또는 트래킹된다. 그리고나서, 얼굴 화상만이 잘라내어져 그 화상이 압축되어 전송된다.
또한, 본 발명에 따르면, 사용자의 전송된 화상의 크기가 동일하고 일정하게 유지되도록 하기 위해, 그 이동에 따라 화상이 확대, 축소 또는 트래킹된다. 이 때문에, 동일한 크기의 사람의 화상이 잘라내어져 그 화상이 압축되어 전송된다.
또한, 모니터 스크린을 보면서 사용자가 화상을 원하는 상태로 록킹(유지)할 수 있도록 본 발명을 구성함으로써, 상기 화상을 사용자의 명령에 따라 단말기 상에서 트래킹, 확대, 축소, 또는 잘라내기를 할 수 있다.
또한, 록킹을 개시하는 때에 록킹된 상태를 계속적으로 유지하기 위하여, 예를 들면, 특징 부분(눈,코, 입, 귀, 또는 얼굴 윤곽과 같은 몸의 기관)를 상기 화상으로부터 잘라낸다. 이 부분을 기준으로서 이용하여, 상기 화상을 확대, 축소, 또는 트래킹한다.
예를 들면, 양눈간의 거리가 검출되고, 이 거리로부터 확대 또는 축소 비율 또는 잘라낼 위치를 검출한다.
뿐만 아니라, 촬상 장치, 즉 카메라로부터 입력된 전체 화상은 사용자의 모니터상에 출력된다. 사용자가 화상의 범위를 지정하여 잘라낸다. 그리고나서, 상기 화상이 연속적으로 동일한 크기로 남아 있도록 상기 화상을 축소, 확대 또는 트래킹한다.
또한, 모니터 스크린상에서 동작가능한 포인터를 이용함으로써, 사용자가 록 킹을 개시한 때에 특징 화상을 지정하므로, 상기 화상을 축소, 확대 또는 트래킹한다.
또한, 트래킹 정확도를 증가시키기 위해, 상기 화상을 전송될 화상과 동일하거나 더 높은 프레임 레이트로 페치 및 트래킹하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상은 전송 프레임 레이트와 동일하거나 더 큰 레이트로 갱신된다.
또한, 촬상 수단이 표시 스크린에 내장된다. 그러므로, 서로 전송된 화상간의 시선이 매칭될 수 있다.
뿐만 아니라, 본 발명에 따르면, 예를들어 얼굴 화상과, 토론 중인 콘텐츠를 위 아래에 각각 제공하고 촬상 수단이 그들간의 사이 근처에 제공되므로, 토론중인 화상을 보면서 사용자가 이야기하는 화상이 서로에게 전송될 수 있다. 또한, 모니터상에서 서로의 얼굴을 보면서 시선이 유지되는 가상 현실 통신이 실현될 수 있다.
본 발명의 이들 및 다른 목적 및 특징은 첨부된 도면을 참조하여 주어진 이하의 바람직한 실시예에 대한 설명으로부터 더 명백하게 될 것이다.
이하, 본 발명의 바람직한 실시예를 도 2 내지 도 24를 참조하여 설명한다.
도 2는 본 발명에 따른 데이터 전송 시스템으로서의 영상 통신 서비스 시스템의 실시예에 대한 시스템 구성도를 도시한 도면이다.
영상 통신 서비스 시스템(100)은 음성 및 화상을 압축하여 복수의 단말기, 예를 들면 이동 단말기(이하에서는 간략히 단말기로 언급함)(50-1)와 단말기(50-2)사이에서 전송 채널(60)을 통해 신호를 교환한다. 이러한 시스템에 의해, 사용자는 상대방의 얼굴을 보면서 대화를 즐길 수 있다.
도 3은 단말기(50-1 또는 50-2)의 구성예를 도시한 외관도이다.
단말기(50-1 또는 50-2)는, 도 3에 도시된 바와 같이, 본체 케이스(51), 본체 케이스(51)의 아래쪽에 제공되고 전화 기능을 위해 전화 번호를 입력하거나 특정 동작 명령을 입력하기 위한 키패드를 포함하는 조작 패널(52), 조작 패널(52)의 위쪽에 제공되는 표시 모니터(53), 표시 모니터(53)의 거의 중앙 영역에 배치된 렌즈를 포함하고 촬상 수단으로서 기능하는 카메라 모듈(54), 안테나(55), 및 GUI로서의 기능을 구비하고 록킹(locking) 수단 및 지정 수단으로서 기능하는 스위치(56)를 구비하고 있다.
도 3에서, 마이크로폰과 스피커는 생략했다. 데이터 전송 시스템으로서 동작하는 단말기의 특정 회로 구성은 후에 상술한다.
이와 같이, 표시 모니터(53)는 거의 중앙 영역에 배치된 카메라 모듈(54)의 렌즈부를 가지고 있다. 도 3에 도시된 바와 같이, 얼굴 화상과, 후에 설명하는 어플리케이션 서비스 제공자(ASP)로부터 얻어지는 소정 콘텐츠 화상이 렌즈부의 위치의 상하에 각각 표시된다.
도 3의 예에서, 얼굴 화상은 위쪽에 표시되고, 콘텐츠 화상은 아래쪽에 표시되었지만, 역으로 얼굴 화상을 아래쪽에 콘텐츠 화상을 위쪽에 표시하는 것도 가능하다.
전송 채널(60)은 이동 기지국(MBS; 61-1, 61-2), 이동 교환국(MSC; 62-1, 62-2), 홈 위치 등록 레지스터(HLR)을 구비한 게이트웨이 이동 교환국(GMSC; 63-1, 63-2), 및 회로망(64)을 포함한다.
이동 기지국(61-1, 61-2)은 각각 단말기(50-1, 50-2)와 통신한다. 기지국(61-1, 61-2)에 의해 핸들링되는 신호는 그 상위 레벨의 이동 교환국(62-1, 62-2)에 전송되고, 또한 더 상위 레벨의 게이트웨이 교환국(63-1, 63-2)을 통해 백본 회로망(35)으로 전송된다.
또한, 게이트웨이(GW, 65)가 회로망(64)에 접속되고, 콘텐츠를 분배할 수 있는 어플리케이션 서비스 제공자(66)가 게이트웨이(65)와 접속된다.
그러므로, 다양한 콘텐츠 CONT를 제공하는 어플리케이션 서비스 제공자(ASP)를 가동하여 게이트웨이(65)를 통해 단말기(50-1, 50-2)에 동일한 화상의 콘텐츠 CONT를 출력할 수 있다.
이하에, 상기 영상 통신 서비스 시스템(100)에 적용되고, 본 발명에 따른 데이터 전송 장치로서 동작하는 단말기(50; 50-1, 50-2)의 구체적인 신호 처리 시스템의 회로 구성을 첨부된 도면을 참고하여 제1, 제2 및 제3 실시예로서 설명한다.
제1 실시예
도 4는 본 발명에 따른 데이터 전송 장치로서 기능하는 단말기의 신호 처리 시스템의 제1 실시예의 회로 다이어그램이다.
도 4에 도시한 바와 같이, 신호 처리 시스템(500)은 마이크로폰(501), 카메라 회로(502), 제1 회로로서의 전처리 회로(503), 비디오 압축 코딩기(504), 음성 압축 코딩기(505), 멀티플렉서(MUX; 506), 전송 회로(507), 수신 회로(508), 디멀티플렉서(DeMUX; 509), 비디오 디코딩 회로(510), 음성 디코딩 회로(511), 화상 합성 장치(512), 표시 회로(513), 스피커(514), GUI 인터페이스(I/F) 회로(515), 및 CPU(516)를 구비하고 있다.
비디오 압축 코딩기(504), 음성 압축 코딩기(505), 멀티플렉서(MUX, 506), 및 전송 회로(507)가 제2 회로를 형성한다.
마이크로폰(501)은 사용자에 의해 생성되는 음성을 전기적 신호로 변환하여 음성 압축 코딩기(505)로 출력한다.
카메라 유닛(502)은 카메라 모듈(54)에 의해 렌즈를 통해 촬상되어 광학 신호로부터 전기적 신호로 변환되는 예를 들면 사용자의 상반신의 화상에 대해 특정 처리를 행하여, 상기 신호를 디지털 화상 신호 S502로서 전처리 회로(503)에 출력한다.
전처리 회로(503)는 디지털 화상 신호 S502를 수신하여 사용자의 상반신의 화상으로부터 전송될 화상(이하에서는 타겟 화상이라고 부름)을 추출하고, 전송될 화상이 화상 프레임을 완전히 채우도록 조정된 화상 신호를 생성하여 비디오 압축 코딩기(504) 및 화상 합성 회로(512)에 출력한다.
화상 프레임 전체를 채우도록 타겟 화상을 조절하기 위한 처리로서, 전처리 회로(503)는 전송될 화상의 특징 부분의 화상을 이용하여 매칭을 행하고, 최적의 매칭 부분 주위의 화상을 잘라냄으로써, 화상의 트래킹을 가능하게 한다.
여기에서, "화상 프레임 전체를 채운다"라고 하는 것은 배경을 인식할 수 없 을 정도까지 화상 프레임을 타겟 화상으로 완전하게 채우는 것을 의미한다. 특히, 통신을 위한 화상 전송 장치에서, 타겟 화상은 대부분 얼굴 화상이다.
이하에, 전처리 회로(503)의 처리를 더 상세하게 설명한다.
도 5는 제1 실시예에 따른 전처리 회로의 주요부의 구체적 구성의 예에 대한 회로 다이어그램이다.
또한, 도 6a 및 6b는 전처리 회로에 의한 트래킹 처리를 설명하기 위한 개략적인 도면이다.
도 5에 도시한 바와 같이, 전처리 회로(503)는 서치 범위 추출기(5031), 이진 코드화 유닛(5032), 패턴 매칭 유닛(5033), 레퍼런스 메모리(5034), 및 사각 범위 추출기(5035)를 포함한다.
서치 범위 추출기(5031)는 도 6a에 도시되고, 레퍼런스 메모리(5034)에 저장된 이전 화상 PIM의 레퍼런스 화상 RIM의 좌표 정보에 기초하여 도 6b에 도시한 바와 같이 서치 범위 SRG를 추출한다.
이진 코드화 유닛(5032)은 서치 범위 추출기(5031)에 의해 추출된 서치 범위 데이터의 휘도 신호를 이진 데이터로 변환하여 패턴 매칭 유닛(5033)에 출력한다.
패턴 매칭 유닛(5033)은 이진 코드화 유닛(5032)에 의해 주어지는 서치 범위의 휘도 신호의 이진 데이터와, 도 6a에 도시되고 레퍼런스 메모리(5034)에 저장되는 이전 화상 PIM의 레퍼런스 화상 RIM의 이진 데이터와의 휘도 정보 패턴 매칭을 수행하여, 그 결과를 사각 범위 추출기(5035)로 출력한다.
패턴 매칭 처리는 도 6b에 도시한 바와 같이 서치 범위 SRG 내에서 가장 높 은 일치도를 주는 위치에서 화상 데이터 MMT를 채용하여, 현재 화상 CIM의 트래킹 결과로서 이용한다.
또한, 패턴 매칭 유닛(5033)은 현재 단계에서의 트래킹 결과, 즉 가장 높은 일치도를 주는 위치에서의 화상 데이터 MMT를, 다음 화상에 대한 레퍼런스 화상으로서 레퍼런스 메모리(5034)에 저장한다.
사각 범위 추출기(5033)는 패턴 매칭 유닛(5033)에 의해 얻어진 트래킹 결과 MMT를 둘러싸는 특정 사각 범위를 잘라내어 출력한다.
이러한 구성을 구비하는 전처리 회로(503)에서, 사용자가 전송되기를 희망하는 원하는 화상 상태(이하에서는 "초기 레퍼런스 화상"이라 칭함)를 유지하기 위하여 입력 화상의 트래킹이 수행된다.
그리고나서, 전송 프레임 레이트와 동일하거나 높은 프레임 레이트로 트래킹 동작이 수행되고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상은 연속적으로 갱신(refresh)된다.
초기 레퍼런스 화상 정보(도 7a 내지 7c, 및 도 8a 내지 8c를 참조하여 후술됨)가 CPU(516)로부터 전송될 때, 전처리 회로(503)의 트래킹이 시작된다.
우선, 도 6b에 도시된 바와 같은 카메라(502)로부터 새롭게 입력된 입력 화상 데이터(현재의 화상) CIM에서, 레퍼런스 메모리(5034)에 저장된 이전 화상 PIM의 레퍼런스 화상 RIM의 좌표 정보에 기초하여 서치 범위 추출기(5031)에 의해 서치 영역 SRG가 추출된다.
다음으로, 추출된 데이터의 휘도 신호가 이진 코드화 유닛(5033)에서 이진 데이터로 변환된 후, 레퍼런스 메모리(5034)에 저장된 레퍼런스 화상 RIM의 이진 코드화 데이터와 추출된 데이터의 휘도 신호의 이진 코드화 데이터 사이에서 휘도 정보의 패턴 매칭이 패턴 매칭 유닛(5033)에 의해 수행된다.
이때의 트래킹 결과, 즉 가장 높은 일치도를 주는 위치에서의 화상 데이터 MMT가 다음 화상의 레퍼런스 화상으로서 레퍼런스 메모리(5034)에 저장된다.
그리고나서, 사각 범위 추출기(5035)는 패턴 매칭 유닛(5033)에 의해 얻어진 트래킹 결과 MMT를 둘러싸는 사각 범위를 잘라내어 출력한다.
다음으로, 초기 레퍼런스 화상을 결정하는 제1 및 제2 방법을 도 7a 내지 7c, 및 도 8a 내지 8c를 참조하여 설명한다.
제1 결정 방법은 전송 화상의 크기 프레임을 모니터링함으로써 결정한다.
구체적으로는, 도 7a에 도시한 바와 같이, 전송 화상 크기 프레임 FR이 초기 화상 IIM내에 미리 설정된다. 프레임 FR내의 화상은 모니터 화상 MNTa로서 출력되어, 도 7b에 도시한 바와 같이, 표시 회로(513)에 의해 표시 모니터(53)상에 표시된다.
사용자가 모니터상의 출력을 보고, 원하는 화상 상태가 얻어지는 경우에, 예를 들면 스위치(56)를 눌러 화상을 록킹(lock)하라는 명령을 내린다. 그렇게 하여, 도 7c에 도시한 바와 같이, 초기 레퍼런스 화상 IRI가 결정된다.
한편, 제2 결정 방법은 축소 화상을 모니터링함으로써 화상을 결정한다.
구체적으로는, 도 8a에 도시한 바와 같이, 초기 화상 IIM은 도 8b에 도시한 바와 같은 모니터 화상 MNTb로서 축소 출력된다. 포인터 POI를 이용하여 사용자가 원하는 레퍼런스 중심과 표시 범위(화상에 의해 점유되는 범위)를 지정하여, 초기 레퍼런스 화상 IRI를 결정한다.
주목할 점은, 표시 모니터(53) 상에서 포인터 POI를 이동하기 위한 명령은 예를 들면 볼 스위치, 즉 스위치(56)를 이용함으로써 실행된다. 즉, 스위치(56)를 원하는 방향으로 회전함으로써, 포인터 POI는 상, 하, 좌, 우 또는 경사 방향으로 이동된다.
이와 같이 제1 또는 제2 방법으로 결정된 초기 레퍼런스 화상에 대한 정보는 GUI 인터페이스 회로(515)로부터 CPU(516)를 통해 전처리 회로(503)의 레퍼런스 메모리(5034)에 전송된다.
또한, 도 4에서, 비디오 압축 코딩기(504)는 전처리 회로(503)에 의해 추출된 전송되어야 할 화상 데이터를 압축 및 코딩하여 멀티플렉서(506)에 출력한다.
음성 압축 코딩기(505)는 마이크로폰(501)으로부터의 음성 데이터를 압축 및 코딩하여 멀티플렉서(506)에 출력한다.
멀티플렉서(506)는 비디오 압축 코딩기(504)에 의해 압축 및 코딩된 전송되어야 할 화상 데이터와, 음성 압축 코딩기(505)에 의해 압축 및 코딩된 음성 스트림을 멀티플렉싱하여 상기 데이터를 전송 회로(507)에 출력한다.
전송 회로(507)는 멀티플렉서(506)에 의해 멀티플렉싱된 화상 및 음성 데이터를 특정 전송 프로토콜로 변환 및 변조하여 이동국(MBS, 61-1 또는 61-2)으로 전송한다.
수신 회로(508)는 다른 통신측으로부터 전송 채널(60)을 통해 전송된 전송 신호를 수신 및 복조하고, 전송 프로토콜을 압축 해제하여, 그 결과를 디멀티플렉서(509)에 출력한다.
디멀티플렉서(509)는 수신 회로(508)로부터의 화상 데이터와 음성 데이터를 분리하여 얻어진 화상 데이터 스트림과 음성 데이터 스트림을 각각 비디오 디코딩 회로(510) 및 음성 디코딩 회로(511)로 공급한다.
비디오 디코딩 회로(510)는 디멀티플렉서(509)에 의해 분리된 화상 데이터 스트림을 디코딩하여 화상 합성 회로(512)에 출력한다.
음성 디코딩 회로(511)는 디멀티플렉서(509)에 의해 분리된 화상 데이터 스트림을 디코딩하여 재생을 위해 스피커(514)에 출력한다.
화상 합성 회로(512)는 전처리 회로(503)로부터의 단말기 사용자의 얼굴 화상 데이터와, 비디오 디코딩 회로(510)로부터의 예를 들면 상대방의 얼굴 화상 데이터 또는 어플리케이션 서비스 제공자(ASP)로부터의 지정된 콘텐츠 화상을 합성하여, 그 결과를 표시 회로(513)에 출력한다.
표시 회로(513)는 화상 합성 회로(512)로부터 합성된 화상을 수신하고, 도 3 및 도 4에 도시한 바와 같이, 단말기(50-1 또는 50-2)의 표시 모니터(53)에 사용자 자신의 얼굴 화상과 상대방의 전송된 얼굴 화상을 예를 들면 카메라 모듈(54)의 렌즈 위에 나란히 표시하고, 지정된 콘텐츠 화상은 렌즈 아래에 표시한다.
GUI 인터페이스 회로(515)는 스위치(56)를 포함한다. CPU(516)는 사용자로부터의 명령에 따라 화상 록킹 상태로의 시프트, 모니터의 표시를 스위칭하는 등 전체 단말기(50-1, 50-2)를 제어한다.
다음으로, 도 4의 단말기(50)의 동작을 설명한다.
예를 들면, 사용자의 상반신의 화상이 카메라 모듈(54)의 렌즈를 통해 촬상된다. 이것은 카메라 회로(503)에 의해 광학 신호로부터 전기적 신호로 변환되어 디지털 화상 신호 S502로서 전처리 회로(503)에 출력된다.
사용자의 상반신의 화상 데이터는 화상 합성 회로(512)를 통해 표시 회로(513)에 공급된다. 그리고나서, 사용자의 상반신의 화상, 즉 초기 화상 IIM은 표시 모니터(53)상에 표시된다.
사용자가 자신의 상반신의 화상, 즉 초기 화상 IIM을 보면서, 예들 들면 제1 방법, 즉 전송 이미지 크기 프레임을 모니터링함으로써 초기 레퍼런스 화상 IRI를 결정한다.
다시 말하면, 전송 화상 크기 프레임이 초기 화상 IIM에서 미리 설정되고, 프레임 FR내의 화상이 모니터 화상 MNTa로서 출력되어 표시 회로(513)에 의해 표시 모니터(53)상에 표시된다.
그리고나서, 사용자는 모니터상의 출력을 보고 원하는 화상 상태를 발견한 경우, 예를 들면 스위치(56)를 눌러 CPU(516)에게 화상을 록킹하라는 명령을 내림으로써, 초기 레퍼런스 화상 IRI를 결정한다.
그리고나서, 초기 레퍼런스 화상 정보가 CPU(516)로부터 전송되는 경우, 전처리 회로(503)에서 트래킹이 시작된다.
이 상태에서, 카메라 회로(512)로부터 새롭게 입력된 입력 화상 데이터(현재의 화상) CIM에서, 레퍼런스 메모리(5034)에 저장된 이전 화상 PIM의 레퍼런스 화 상 RIM의 좌표 정보에 기초하여 서치 범위 추출기(5031)에 의해 서치 범위 SRG를 추출한다.
다음으로, 추출된 데이터의 휘도 신호가 이진 코드화 유닛(5033)에 의해 이진 데이터로 변환된 후, 레퍼런스 메모리(5034)에 저장된 레퍼런스 화상 RIM의 이진 코드화 데이터와 추출된 데이터의 휘도 신호의 이진 코드화 데이터 사이에서 휘도 정보의 패턴 매칭이 패턴 매칭 유닛(5033)에 의해 수행된다. 이 처리 결과는 다음 화상의 레퍼런스 화상으로서 레퍼런스 메모리(5034)에 저장된다.
그리고나서, 패턴 매칭 유닛(5033)으로 얻어진 트래킹 결과 MMT를 둘러싸는 사각 범위가 사각 범위 추출기(5035)에서 잘라져 비디오 압축 코딩기(504)와 화상 합성 회로(512)에 출력된다.
그 상태에서, 마이크로폰(501)으로부터의 음성 입력이 디지털로 변환된 후, 음성 압축 코딩기(505)에 의해 압축된다.
그리고나서, 상기 기술한 바와 같이 전 처리 회로로부터 얻어지는 화상 데이터는 비디오 압축 코딩기(504)에 의해 압축 및 코딩되고, 압축된 음성 스트림과 함께 멀티플렉서(506)에 의해 멀티플렉스된 후, 전송 회로(507)로 출력된다.
그 후에, 전송 회로(507)는 멀티플렉스된 데이터, 전송 프로토콜을 수신하여 그 결과를 예를 들면 이동 기지국(61-1)에 전송하고, 상기 결과를 전송 채널을 통해 예를 들면 상대방의 단말기(50-2)에 전송한다.
또한, 그 반대 순서로, 상대방으로부터의 전송된 신호는 수신 회로(508)에 의해 수신되어 복조되고 전송 프로토콜이 압축해제된 후, 디멀티플렉서(509)에 의 해 화상 데이터 스트림과 음성 데이터 스트림으로 분리된다.
분리된 음성 데이터 스트림은 음성 디코딩 회로(511)에 의해 디코딩되어 재생을 위해 스피커(514)로 전송된다.
화상 데이터 스트림은 비디오 디코딩 회로(510)에 의해 디코딩된 후, 화상 합성 회로(512)에 의해 전처리 회로(503)로부터의 사용자 자신의 화상과 합성된다. 합성된 화상 데이터는 표시 회로(513)에 출력되어 표시 모니터(53)상에 표시된다.
이때, 표시 모니터(53)는 자신의 얼굴 화상과 상대방의 전송된 얼굴 화상을 예를 들면 표시 모니터(53)상의 카메라 모듈(54)의 렌즈 위에 나란히 표시하고, 렌즈 아래에는 지정된 콘텐츠 화상을 표시한다.
상기 설명한 바와 같이, 제1 실시예에 따르면, 단말기(50-1, 50-2)간의 통신 동안, 전송될 화상의 프레임을 완전히 채우도록 조정한 후 타겟 화상을 압축 및 전송하므로, 상대방의 표정을 전송하면서도 정보량을 급격하게 감소시킬 수 있다. 특히, 이것은 통신에 있어서 가장 필요한 것이다.
또한, 얼굴 화상이 프레임을 완전히 채우도록 조정되므로, 고해상도 배경 화상의 전송이 자연스럽게 제거될 수 있어, 압축후의 정보량이 크게 축소될 수 있다. 그 결과, 고화질의 화상을 전송할 수 있다.
또한, 화상의 프레임 상관성이 크게 증가될 수 있다. 화상 압축 방법에 대해 MPEG와 같은 프레임간 압축을 행하는 압축 기술을 이용함으로써, 정보량이 엄청나게 감소되고, 따라서 고화질의 화상을 전송하는 것이 가능하게 된다.
또한, 사용자가 전송하기를 원하는 화상 상태(화상 록킹 상태)를 자동적으로 유지할 수 있다. 이것은 화상의 특징 부분을 검출하는데 도움을 주고, 사람의 화상과 같은 타겟 화상의 트래킹을 가능하게 한다. 그 결과, 화상의 시간 상관성이 증가되고, 압축 후의 정보량을 감소시킬 수 있으므로, 고화질의 화상을 전송하는 것이 가능하게 된다.
얼굴 화상과, 함께 토론 중인 콘텐츠를 표시 모니터(53)의 상부 및 하부에 배열하고 있고, 카메라 모듈(54)의 렌즈 부분이 그 사이에 제공되므로, 말하는 사람들간의 시선이 맞춰진 상태를 실현할 수 있다.
또한, 사용자들이 함께 토론중인 화상을 보면서 이야기하는 상태를 전송할 수 있다. 또한, 사용자들이 모니터상의 서로의 얼굴을 봄으로써 시선을 맞춘 상태를 유지하는 가상 현실 통신이 실현될 수 있다는 장점을 가지고 있다.
또한, 전송 채널(60)에서, 콘텐츠를 분배할 수 있는 어플리케이션 서비스 제공자(ASP; 66)가 시동되어, 어플리케이션 서비스 제공자(66)에 의해 제공되는 동일한 콘텐츠의 화상이 게이트웨이(65)를 통해 단말기(50-1, 50-2)에 출력될 수 있다.
제2 실시예
도 9는 본 발명에 따른 데이터 전송 장치로서 기능하는 단말기의 신호 처리 시스템의 제2 실시예에 대한 회로 다이어그램이다.
제1 실시예에 따른 신호 처리 처리 시스템과 다른 점은 전처리 회로(503A) 및 CPU(516A)의 처리에 있다.
구체적으로는, 통신하는 동안, 얼굴의 일부가 입력 화상내에서 검출되고, 얼굴의 크기가 그 정보로부터 계산되며, 얼굴 화상이 전체 모니터를 채우도록 화상을 감소 또는 축소시킨 후, 얼굴 화상을 잘라낸다.
이 경우에, 전송되어야 할 화상의 특징 부분의 화상을 이용하여 특징 부분의 거리를 계산하고, 이것을 이용하여 화상을 확대, 축소, 또는 트래킹한다.
특히, 얼굴 화상의 경우에, 예를 들면 눈 부분이 특징 기관으로서 선택되고, 양눈간의 거리가 레퍼런스 화상의 거리와 동일하게 되도록 화상의 확대 또는 감소 비율이 결정되고나서, 화상이 트래킹된다. 또한, 특징 부분으로서, 눈, 코, 입, 귀 또는 얼굴 윤곽의 적어도 일부를 이용하여 그 크기 및 거리로부터 화상이 확대, 축소 또는 트래킹된다.
나머지 구성은 도 4에 도시한 바와 동일하다. 그러므로, 도 9에서, 도 4와 동일한 구성요소는 동일 참조 부호로 표시되어 있다.
즉, 도 9에 도시한 신호 처리 시스템(500A)는 마이크로폰(501), 카메라 회로(502), 전처리 회로(503A), 비디오 압축 코딩기(504), 음성 압축 코딩기(505), 멀티플렉서(MUX, 506), 전송 회로(507), 수신 회로(508), 디멀티플렉서(DeMUX; 509), 비디오 디코딩 회로(510), 음성 디코딩 회로(511), 화상 합성 장치(512), 표시 회로(513), 스피커(514), GUI 인터페이스(I/F) 회로(515), 및 CPU(516A)를 구비하고 있다.
전처리 회로(503A)와 CPU(516A)의 기능들이 제1 실시예와 다르므로, 이하에는 전처리 회로(503A)와 CPU(516A)만을 상세하게 설명한다. 다른 구성 요소들에 대한 설명은 생략한다.
도 10은 제2 실시예에 따른 전처리 회로의 주요부의 구체적인 구성예를 도시 한 회로 다이어그램이다.
용이한 이해를 위해, CPU(516A)를 도 10에도 도시하고 있다.
도 10에 도시한 바와 같이, 전처리 회로(503A)는 얼굴 부분 위치 검출기(5036), 화상 확대 및 축소 유닛(5037), 화상 추출기(5038), 및 레퍼런스 얼굴 화상 메모리(5039)를 구비하고 있다.
얼굴 부분 위치 검출기(5036)는 CPU(516A)에 의한 얼굴 위치의 초기 범위의 정보, 즉 얼굴 부분 서치 범위내에서 휘도 및 색깔 정보를 이용하여 양눈, 코, 입, 눈썹, 귀, 및 얼굴의 윤곽과 같은 얼굴 부분의 위치를 검출하고, 검출된 얼굴 부분 위치 정보 S5036를 CPU(516A)에 공급한다.
화상 확대 및 축소 유닛(5037)은 CPU(516A)에 의해 계산된 확대 또는 축소의 비율에 기초하여 입력 화상을 확대 또는 축소하여 화상 추출기(5038)에 공급한다.
화상 추출기(5038)는 CPU(516A)로부터 이미 전송된 얼굴 위치 정보(좌표)에 기초하여 확대 또는 축소 화상으로부터 모니터 스크린에 표시되는 범위내의 얼굴 화상을 잘라낸다.
잘라낸 얼굴 화상은 레퍼런스 화상 메모리(5039)에 전송된다. 이때, 레퍼런스 화상은 화상의 확대 또는 축소 비율로부터 만들어진다.
다음으로, 도 11 내지 16을 참조하여 CPU(516A)를 포함하여 전처리 회로(503A)의 동작에 대해 설명한다.
도 11은 얼굴 크기를 계산하는 예를 설명하기 위한 도면이고, 도 12는 얼굴 부분 검출 서치 범위의 예를 설명하기 위한 도면이며, 도 13 및 14는 얼굴 부분 검 출 서치 범위내의 얼굴 화상을 감소시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면이고, 도 15 및 16은 얼굴 부분 검출 서치 범위내의 얼굴 화상을 확대시키고, 이것을 표시 모니터에 표시하는 처리를 설명하기 위한 도면이다.
우선, 제1 입력 화상(초기 화상)에 대해서는, 얼굴 위치의 초기 범위에 대한 정보가 사용자의 명령에 의해 GUI 인터페이스 회로(515)(스위치 56)를 통해 CPU(516A)에 공급된다.
CPU(516A)에서는, 전송된 초기 범위가 얼굴 부분 검출 서치 범위 신호 S516A로서 얼굴 부분 위치 검출기(5036)에 공급된다.
얼굴 부분 위치 검출기(5036)에서는, 휘도 및 색깔 정보를 이용하여, 공급된 얼굴 부분 서치 범위내에서 양눈, 코, 입, 눈썹, 귀, 및 얼굴 윤곽과 같은 얼굴 부분들의 위치를 검출한다. 그리고나서, 얼굴 부분 검출기(5036)에서 검출된 얼굴 부분의 위치 정보가 신호 S5036으로서 CPU(516A)에 공급된다.
CPU(516A)에서는, 화상 내의 얼굴 크기를 얼굴 부분들의 위치 정보에 기초하여 계산한다.
예를 들면, 도 11에 도시한 바와 같이, 검출된 양눈간의 거리를 "a"로, 눈과 입과의 수직 거리를 "b"로 나타내면, 얼굴 크기는 수평 방향으로 3a, 수직 방향으로 4b로 설정된다.
주목할 점은, 이 경우에 얼굴 색깔을 검출하여 윤곽을 계산하여 그 크기로부터 얼굴 크기를 계산하는 것도 가능하다는 점이다.
또한, CPU(516A)에서는, 다음 화상의 얼굴 부분 검출 서치 범위를 얼굴 부분 들의 위치 정보를 기초하여 계산한다.
예를 들면, 도 12에 도시한 바와 같이, 양눈과 입을 포함하는 사각형 a×b 주위로 수평 방향으로 ±a×N 및 수직 방향으로 +b×M 및 -b×L된 범위가 다음 화상의 얼굴 부분 검출 서치 범위가 되는 것으로 한다.
주목할 점은 서치 범위는 입력 화상보다 더 클 수는 없다는 점이다.
제2 입력 화상부터는 계속해서, 이전 화상에서 얻어진 얼굴 부분 검출 서치 범위가 CPU(516A)에 의해 얼굴 부분 위치 검출기(5036)에 공급된다.
얼굴 부분 위치 검출기(5036)에서는, 얼굴 부분의 위치는 공급된 서치 범위내에서 상기와 동일한 방식으로 검출된다.
이때, 레퍼런스 얼굴 화상 메모리(5039)에 저장된 이전 화상의 얼굴 부분의 정보는 얼굴 부분의 검출을 위한 레퍼런스 화상으로서 이용된다.
그리고나서, 얼굴 부분 검출기(5036)에서 검출된 얼굴 부분의 위치 정보가 신호 S5036으로서 CPU(516A)에 공급된다.
그리고나서, 초기 화상과 동일한 방식으로, 화상내의 얼굴 크기와 다음 화상의 얼굴 부분 검출 서치 범위가 CPU(516A)에서 계산된다.
도 13 및 15는 얼굴 부분의 서치 범위를 도시하고 있다.
다음으로, CPU(516A)에서, 확대 및 축소 비율이, 계산된 얼굴 크기로부터 계산된다.
이 비율은 사용자의 얼굴이 표시되는 모니터의 스크린을 얼굴 화상이 완전히 채우도록 얼굴을 확대 및 축소하는 비율이다.
예를 들면, 도 14에 도시한 바와 같이, 얼굴의 크기가 수평 방향으로 3a이고, 스크린의 크기가 수평 방향으로 d이므로, 축소 비율 d/3a이 얻어진다.
또한, 도 16에서, 확대 비율 d/3a'가 얻어진다.
CPU(516A)에 의해 계산된 비율은 신호 S516c로서 화상 확대 및 축소 유닛(5037)에 공급된다.
화상 확대 및 축소 유닛(5037)에서, 입력 화상은 신호 S516c에 기초하여 확대 또는 축소된다.
확대 또는 축소된 화상은 화상 추출기(5038)에 공급된다. 화상 추출기(5038)에서, 확대 또는 축소된 화상으로부터 모니터 스크린상에 표시된 범위내의 얼굴 화상은 CPU(516A)로부터 신호 S516B로서 이미 전송된 얼굴 위치 정보(좌표)에 기초하여 잘라내진다.
도 14 및 도 16은 입력 화상내의 얼굴 크기가 모니터 스크린보다 큰 경우와, 얼굴 크기가 모니터 스크린보다 작은 경우 각각을 도시하고 있다.
입력 화상내의 얼굴 크기가 다르지만, 모니터 스크린상에 표시된 얼굴 화상의 크기는 동일하다.
잘라내진 얼굴 화상은 후단의 비디오 압축 코딩기(504) 및 화상 합성 회로(52)에 공급된다.
또한, 잘라내진 얼굴 화상은 레퍼런스 얼굴 화상 메모리(5039)에 전송된다. 이때, 이 화상과 확대 또는 축소 비율로부터 레퍼런스 화상이 구축된다.
제2 실시예에 따르면, 제1 실시예와 동일한 효과를 얻을 수 있다.
제3 실시예
도 17은 본 발명에 따른 데이터 전송 장치로서 기능하는 단말기의 신호 처리 시스템의 제3 실시예에 대한 회로 다이어그램이다.
도 18은 제3 실시예에 따른 전처리 회로의 주요부의 구체적인 구성예에 대한 회로 다이어그램이다.
제3 실시예에 따른 단말기의 신호 처리 시스템과 제2 실시예에 따른 이전 신호 처리 시스템과의 차이점은 전처리 회로(503B), 및 CPU(516B)의 처리에 있다.
구체적으로는 얼굴 화상이 확대 또는 축소되어 얼굴 화상이 사용자에 의해 지정된 크기로 항상 유지되도록 얼굴 화상이 잘라진다.
이를 위해, 전처리 회로(503B)는 모니터/얼굴 화상 비율 메모리(5040)를 도 10의 회로에 추가하도록 구성되어 있다.
나머지 구성은 도 9 및 도 10과 동일하다. 그러므로, 도 17 및 도 18에서, 도 9 및 도 10과 동일한 구성 요소는 동일한 참조 부호로 나타내었다.
즉, 도 17에 도시된 단말기의 신호 처리 시스템(500b)는 마이크로폰(501), 카메라 회로(502), 전처리 회로(503B), 비디오 압축 코딩기(504), 음성 압축 코딩기(505), 멀티플렉서(MUX, 506), 전송 회로(507), 수신 회로(508), 디멀티플렉서(DeMUX, 509), 비디오 디코딩 회로(510), 음성 디코딩 회로(511), 화상 합성 장치(512), 표시 회로(513), 스피커(514), GUI 인터페이스(I/F) 회로(515), 및 CPU(516B)를 구비하고 있다.
도 18에 도시한 바와 같이, 전처리 회로(503B)는 얼굴 부분 위치 검출기(5036), 화상 확대 및 축소 유닛(5037), 화상 추출기(5038), 레퍼런스 얼굴 화상 메모리(5039), 및 모니터/얼굴 화상 비율 메모리(5040)를 구비하고 있다.
전처리 회로(503B) 및 CPU(516B)의 기능이 제2 실시예와 다르므로, 이하에서는 전처리 회로(503B) 및 CPU(516B)의 기능만을 상세하게 설명한다. 다른 구성요소에 대한 설명은 생략한다.
모니터/얼굴 화상 비율 메모리(5040)는 CPU(516B)에 의해 추출된 얼굴 부분의 위치 정보에 기초하여, 모니터 스크린내의 얼굴 위치를 계산하기 위한 값과 모니터 스크린에 표시된 얼굴의 크기를 저장한다. 저장된 데이터는 제2 입력 화상 및 이후 계속해서 레퍼런스 값으로서 이용된다.
다음으로, CPU(516B)를 포함하여 전처리 회로(503B)의 동작을 도 19 내지 23을 참조하여 설명한다.
도 19 및 도 20은 지정된 화상 전송 범위내의 얼굴 화상을 축소하여 표시 모니터상에 표시하기 위한 처리를 설명하기 위한 도면이고, 도 21은 모니터 상의 화상에서 화소수 "f"에 대한 얼굴 색깔의 화소수 "e"의 비율을 설명하기 위한 도면이며, 도 22 및 23은 얼굴 부분 검출 서치 범위내의 얼굴 화상을 축소하여 표시 모니터상에 표시하기 위한 처리를 설명하기 위한 도면이다.
우선, 제1 입력 화상(초기 화상)내에서 사용자가 모니터상에 표시될(전송되기를 원하는) 자신의 원하는 얼굴의 범위를 예를 들면 표시 모니터의 GUI 상에서 지정한다. 범위에 대한 이 정보는 CPU(516B)에 공급된다.
이 범위는 모니터와 거의 유사하면 사용자가 지정하기가 쉽다.
CPU(516B)에서, 공급된 초기 범위는 얼굴 부분 검출 서치 범위 신호 S516A로서 얼굴 부분 위치 검출기(5036)에 공급된다.
얼굴 부분 위치 검출기(5036)에서, 양눈, 코, 입, 눈썹, 귀, 및 얼굴 윤곽과 같은 얼굴 부분의 위치를 공급된 얼굴 부분 서치 범위내에서 검출한다. 얼굴 부분 검출기(5036)내에서 검출된 얼굴 부분의 위치 정보는 신호 S5036으로서 CPU(516B)에 공급된다.
CPU(516B)에서, 모니터 스크린에 표시되는 얼굴의 크기와, 모니터내에서 얼굴의 위치를 계산하기 위한 값이 얼굴 부분의 위치 정보를 기초하여 추출된다.
예를 들면, 도 20에 도시한 바와 같이, 제1 입력 화상(초기 화상), 사용자에 의해 지정된 범위의 수평 길이 "c", 초기 화상내의 검출된 양눈간의 거리 "a", 및 표시 모니터(53)의 수평 길이 "d"가 이용될 수 있다.
또한, 도 21에 도시한 바와 같이, 얼굴 색깔을 검출하고, 모니터상의 화상 내의 화소수 "f"에 대한 얼굴 색깔의 화소수 "e"의 비율을 계산할 수 있다.
이들 값들은 비율 메모리(5040)에 전송되어, 제2 입력 화상 및 이후 계속해서 레퍼런스 값으로서 이용된다.
주목할 점은 이들 값들은 CPU(516B)내에 저장될 수도 있다는 점이다.
또한, CPU(516B)에서, 다음 화상의 얼굴 부분 검출 서치 범위가 얼굴 부분의 위치 정보에 기초하여 계산된다.
예를 들면, 도 12에 도시된 제2 실시예와 동일한 방식으로, 양눈과 입을 포함하는 사각 a×b 주위의 수평 방향 ±a×b, 수직 방향 +b×M 및 -b×L로 둘러싸는 범위를 다음 화상의 얼굴 부분 검출 서치 범위라고 하자.
제2 입력 화상 및 이후에 계속해서, 이전 화상에서 얻어진 얼굴 부분 검출 서치 범위가 CPU(516B)에 의해 얼굴 부분 위치 검출기(5036)에 공급된다.
얼굴 부분 위치 검출기(5036)에서, 얼굴 부분의 위치가 상기와 동일한 방식으로, 공급된 서치 범위내에서 검출된다.
이때, 레퍼런스 얼굴 화상 메모리(5039)내에 저장된 이전 화상의 얼굴 부분의 정보가 얼굴 부분의 검출을 위한 레퍼런스 화상으로서 이용된다.
얼굴 부분 검출기(5036)에서 검출된 얼굴 부분의 위치 정보는 신호 S5036으로서 CPU(516B)에 공급된다.
다음으로, CPU(516B)에서, 확대 또는 축소의 비율이, 계산된 얼굴 크기로부터 계산된다.
제1 화상(초기 화상)에서, 예를 들면 축소 비율 d/c가 사용자에 의해 지정되는 범위의 수평 길이 "c"와 비율 메모리(5040)에 저장된 스크린의 수평 길이 "d"로부터 얻어진다.
제2 화상 및 이후 계속해서, 얼굴 부분 위치 검출기(5036)으로부터 전송된 얼굴 위치 정보와, 비율 메모리(5040)내에 저장된 레퍼런스 값으부터 비율이 계산된다. 예를 들면, 도 23에 도시한 바와 같이, 축소 비율 a'/a는 얼굴 부분 위치 검출기(5036)으로부터 전송된 양눈간의 거리 a'와, 레퍼런스 값으로서 비율 메모리(5040)에 저장된 제1 화상내의 양눈간의 거리 "a"로부터 계산된다.
또한, 축소 비율은 얼굴 부분 위치 검출기(5036)로부터의 피부색 화소수 "g" 와 비율 메모리(5040)내에 저장된 초기 화상내의 피부색 화소수 "e"를 이용하여 얻을 수도 있다.
CPU(516B)에 의해 계산된 비율은 신호 S516c로서 화상 확대 및 축소 유닛(5037)에 공급된다.
화상 확대 및 축소 유닛(5037)에서, 입력 화상은 신호 S516c에 기초하여 확대 또는 축소된다.
확대 또는 축소된 화상은 화상 추출기(5038)에 공급된다. 화상 추출기(5038)내에서, 신호 S516B로서 CPU(516B)로부터 이미 전송된 얼굴 위치 정보(좌표)에 기초하여, 확대 또는 축소 화상으로부터 모니터 스크린상에 표시되는 범위내의 얼굴 화상이 잘라내진다.
도 23은 모니터 스크린보다 큰 입력 화상에서 얼굴 크기가 축소되어 초기 화상에서 사용자에 의해 지정된 얼굴 크기와 동일하게 표시되는 상태 및 모니터 스크린내에 표시되는 얼굴 화상의 크기가 항상 동일하게 되는 상태를 도시하고 있다.
입력 화상내의 얼굴이 초기 화상보다 작은 경우에는 확대될 것이다.
추출된 얼굴 화상이 이후에 비디오 압축 코딩기(504) 및 화상 합성 회로(52)에 공급된다.
또한, 추출된 얼굴 화상은 레퍼런스 얼굴 화상 메모리(5039)에 전송된다. 이때, 이 화상 및 확대 또는 축소 비율로부터 레퍼런스 화상이 구축된다.
제3 실시예에 따르면, 제1 실시예와 유사한 효과를 얻을 수 있다.
제4 실시예
다음으로, 화상의 트래킹 정확도를 향상시키기 위해, 전송되는 화상과 동일하거나 또는 그 이상의 프레임 레이트로, 화상을 페치, 및 트래킹 조작을 행하고, 전송 프레임 레이트와 동일하거나 그 이상의 레이트로 트래킹을 위한 기준이 되는 레퍼런스 화상을 갱신하는 구체예를 본 발명의 제4 실시예로서 설명한다.
도 24는 전송되는 화상과 동일하거나 또는 그 이상의 프레임 레이트로, 화상을 페치, 및 트래킹 조작을 행하고, 전송 프레임 레이트와 동일하거나 그 이상의 레이트로 트래킹을 위한 기준이 되는 레퍼런스 화상을 갱신함으로써 화상의 트래킹 정확도를 향상시키는 처리를 설명하기 위한 개념도이다.
주목할 점은 도 24는 전송될 화상의 프레임 레이트가 입력 프레임 레이트의 1/3이다는 점이다. 실제로는 프레임 레이트 비율은 전송 채널의 대역폭 및 혼잡 상태에 따라 제어되고, 일정하게 설정되는 것은 아니다.
도 24의 예에서, 레퍼런스 화상으로서 이전 화상의 얼굴 화상을 이용하여 각 입력 화상이 갱신되고, 매칭은 다음 화상의 서치 범위내에서 수행된다.
예를 들면, 도 24의 100-1에서 검출된 얼굴 화상은 다음 화상의 레퍼런스 화상(100-8)로서 이용되고, 화상(100-2)내에서 100-8에 대해 매칭을 수행하여 얼굴 화상을 검출한다. 그리고나서, 여기에서 검출된 얼굴 화상이 다음 레퍼런스 화상으로서 이용된다.
또한, 이 얼굴 화상의 위치로부터 다음 입력 화상의 서치 범위가 결정되고 갱신된다.
전송되는 화상의 프레임 레이트에 따라서, 전송되는 화상이 입력 프레임내에 서 검출된 얼굴 화상으로부터 선택된다.
도 24에서, 화상(100-1, 100-4, 및 100-7)내에서 잘라진 얼굴 화상이 전송된다.
화상 전송의 프레임 레이트를 갱신되는 레퍼런스 화상과 동일하게 설정하는 경우, 레퍼런스 화상과 매칭될 화상간의 시간 간격이 더 크게 되어, 예를 들어 얼굴 화상이 점차 작게 되거나 표정이 급격하게 변하거나 또는 얼굴이 옆으로 돌려져 있는 경우에는 매칭 정확도가 떨어질 가능성이 있다.
예를 들면, 100-8과 100-4의 매칭시, 얼굴 화상의 크기가 다르므로, 매칭 정확도가 떨어진다. 또한, 서치 범위의 갱신 레이트를 전송되는 화상의 프레임 레이트와 동일하게 설정하는 경우, 얼굴이 수평 방향으로 움직이게 되면, 종종 얼굴 화상이 서치 범위를 벗어나므로, 매칭 정확도가 떨어지게 될 가능성이 있다.
예를 들면, 100-1의 서치 범위를 100-4의 매칭에 이용하는 경우, 서치 범위가 얼굴 화상 전부를 포함하지 않으므로, 매칭 정확도가 떨어진다.
제4 실시예와 같이, 화상이 전송될 화상보다 동일하거나 큰 프레임 레이트로 페치 및 트래킹되고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상이 전송 프레임 레이트보다 동일하거나 큰 레이트로 갱신되는 경우, 트래킹 정확도가 개선될 수 있다.
본 발명에 따르면, 통신에 가장 필요한 상대방의 표정을 송신하면서도 전체 정보량을 엄청나게 감소시킬 수 있다.
뿐만 아니라, 본 발명에 따르면, 얼굴 화상이 프레임을 완전히 채우도록 조정되므로, 고해상도의 배경 화상을 자연적으로 전송할 필요가 없어지고, 압축후의 정보량이 크게 감소될 수 있다. 결과적으로, 고화질의 화상을 전송할 수 있다.
본 발명의 효과를 요약하면, 본 발명에 따르면, 화상의 프레임 상관성이 크게 증가될 수 있다. 화상 압축 방법에 대해 MPEG와 같은 프레임간 압축의 압축 기술을 이용함으로써, 정보량을 엄청나게 감소시킬 수 있으므로, 고화질의 화상을 전송하는 것이 가능하게 된다.
또한, 본 발명에 따르면, 사용자가 전송하기를 바라는 화상 상태(화상 록킹 상태)를 자동적으로 유지할 수 있다. 이것은 화상의 특징 부분을 검출하는 것을 도와주고, 사람의 화상과 같은 타겟 화상의 트래킹을 가능하게 하며, 압축후의 정보량이 감소될 수 있다. 그러므로, 고화질의 화상을 전송하는 것이 가능하게 된다.
또한, 본 발명에 따르면, 사용자들이 시선을 더 일치시킬 수 있는 상태를 실현할 수 있다.
또한, 본 발명에 따르면, 토론 중인 화상을 보면서 사용자들이 이야기하는 상태를 전송할 수 있다. 또한, 모니터상에서 서로의 얼굴을 보면서 사용자들이 시선을 유지하는 가상 현실 통신이 실현될 수 있다는 장점이 있다.
본 발명은 설명을 위해 선택된 특정 실시예를 참조하여 설명했지만, 본 기술계의 숙련자라면 본 발명의 기본 개념 및 범주를 벗어나지 않고서도 여러가지 변형이 가능하다는 것은 자명하다.

Claims (48)

  1. 적어도 화상 데이터를 미리 설정된 크기의 화상 프레임에 수용하여 전송하는 데이터 전송 방법에 있어서,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 단계;
    상기 촬상된 화상으로부터 전송될 상기 타겟 화상이 상기 화상 프레임을 완전히 채우도록 조정하는 단계; 및
    상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하는 단계
    를 포함하며,
    타겟 화상이 화상 프레임을 완전히 채우도록 조정하는 경우, 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하는 것을 포함하고,
    화상의 특징 부분을 검출하는 경우, 전송될 상기 화상의 입력 상태를 모니터링하면서 원하는 화상 상태의 화상을 록킹(locking)하고, 상기 록킹된 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 것을 포함하고,
    화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 화상을 전송될 화상과 동일하거나 큰 프레임 레이트로 페치(fetch) 및 트래킹(tracking)하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신(refresh)하는 것을 포함하는 데이터 전송 방법.
  2. 삭제
  3. 제1항에 있어서,
    타겟 화상이 화상 프레임을 완전히 채우도록 조정하는 경우, 전송될 상기 화상의 특징 부분의 화상을 이용하여 상기 특징 부분의 거리를 계산하고 이것을 상기 화상의 확대, 축소 및 트래킹에 이용하는 것을 포함하는 데이터 전송 방법.
  4. 삭제
  5. 제3항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상의 입력 상태를 모니터링하면서 원하는 화상 상태의 화상을 록킹하고, 상기 록킹된 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  6. 제1항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상을 표시하고, 표시 스크린상의 특정 위치를 지정하며, 상기 지정된 위치의 주위 부분을 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  7. 제3항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상을 표시하고, 표시 스크린상의 특정 위치를 지정하며, 상기 지정된 위치의 주위 부분을 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  8. 삭제
  9. 제5항에 있어서, 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 화상을 전송될 화상과 동일하거나 큰 프레임 레이트로 페치 및 트래킹하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 것을 포함하는 데이터 전송 방법.
  10. 제1항에 있어서, 전송될 상기 화상을 표시하고, 상기 표시에 전송될 범위를 지정하여 상기 화상의 전송 범위를 결정하는 것을 포함하는 데이터 전송 방법.
  11. 적어도 화상 데이터를 전송하는 데이터 전송 방법에 있어서,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 단계;
    상기 촬상된 화상으로부터 전송될 상기 타겟 화상이 미리 설정된 크기가 되도록 조정하는 단계; 및
    화상 프레임 내의 상기 조정된 화상 데이터를 압축하여 전송하는 단계
    를 포함하며,
    타겟 화상이 미리 설정된 크기가 되도록 조정하는 경우, 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하는 것을 포함하고,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상의 입력 상태를 모니터링하면서 원하는 화상 상태의 화상을 록킹하고, 상기 록킹된 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 것을 포함하고,
    화상의 특징 부분을 이용하여 상기 타겟 화상을 록킹하는 경우에, 상기 화상을 전송될 화상과 동일하거나 큰 프레임 레이트로 페치 및 트래킹하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 것을 포함하는 데이터 전송 방법.
  12. 삭제
  13. 제11항에 있어서,
    타겟 화상이 미리 설정된 크기가 되도록 조정하는 경우, 전송될 상기 화상의 특징 부분의 화상을 이용하여 상기 특징 부분의 거리를 계산하여 이것을 상기 화상의 확대, 축소 및 트래킹에 이용하는 것을 포함하는 데이터 전송 방법.
  14. 삭제
  15. 제13항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상의 입력 상태를 모니터링하면서 원하는 화상 상태의 화상을 록킹하고, 상기 록킹된 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  16. 제11항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상을 표시하고, 표시 스크린상의 특정 위치를 지정하며, 상기 지정된 위치의 주위 부분을 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  17. 제13항에 있어서,
    화상의 특징 부분을 검출하는 경우에, 전송될 상기 화상을 표시하고, 표시 스크린상의 특정 위치를 지정하며, 상기 지정된 위치의 주위 부분을 상기 화상의 특징 부분으로서 이용하는 것을 포함하는 데이터 전송 방법.
  18. 삭제
  19. 제15항에 있어서,
    화상의 특징 부분을 이용하여 상기 타겟 화상을 록킹하는 경우에, 상기 화상을 전송될 화상과 동일하거나 큰 프레임 레이트로 페치 및 트래킹하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 것을 포함하는 데이터 전송 방법.
  20. 제11항에 있어서, 전송될 상기 화상을 표시하고, 상기 표시에 전송될 범위를 지정하여 상기 화상의 전송 범위를 결정하는 것을 포함하는 데이터 전송 방법.
  21. 복수의 단말기간에서 적어도 사용자의 화상 데이터를 표시 스크린에 표시하고, 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 방법으로서,
    전송될 사용자의 타겟 화상을 포함하는 화상을 상기 표시 스크린의 중앙으로부터 촬상하는 단계를 포함하는 데이터 전송 방법.
  22. 복수의 단말기간에서 적어도 사용자의 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터 및 함께 토론중인 콘텐츠를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 방법으로서,
    전송될 사용자의 타겟 화상을 포함하는 화상을 상기 표시 스크린의 중앙으로부터 촬상하는 단계; 및
    상기 촬상 부분으로서 기능하는 상기 표시 스크린의 중앙부로부터 상기 표시 스크린의 상측 또는 하측중 어느 한 쪽에 상기 화상 데이터를 표시하고, 다른 쪽에는 상기 콘텐츠를 표시하는 단계
    를 포함하는 데이터 전송 방법.
  23. 제22항에 있어서, 상기 표시 스크린상에서 상기 콘텐츠 상측에 상기 화상 데이터를 표시하는 것을 포함하는 데이터 전송 방법.
  24. 제22항에 있어서, 상기 표시 스크린상에서 상기 콘텐츠 하측에 상기 화상 데이터를 표시하는 것을 포함하는 데이터 전송 방법.
  25. 적어도 화상 데이터를 미리 설정된 크기의 화상 프레임내에 수용하여 전송하는 데이터 전송 장치에 있어서,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단;
    상기 촬상 수단에 의해 촬상된 화상으로부터 전송될 상기 타겟 화상이 상기 화상 프레임을 완전히 채우도록 조정하기 위한 제1 회로; 및
    상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로
    를 포함하며,
    전송될 상기 타겟 화상이 상기 화상 프레임을 완전히 채우도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하고,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 화상 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하고,
    화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 장치.
  26. 삭제
  27. 제25항에 있어서,
    전송될 상기 타겟 화상이 상기 화상 프레임을 완전히 채우도록 조정을 하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 상기 특징 부분의 거리를 계산하여 이것을 상기 화상의 확대, 축소 및 트래킹에 이용하는 데이터 전송 장치.
  28. 삭제
  29. 제27항에 있어서,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  30. 제25항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단상에 표시된 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 지정 수단에 의해 지정된 포인트 주위의 부분을 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  31. 제27항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단상에 표시된 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 지정 수단에 의해 지정된 포인트 주위의 부분을 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  32. 삭제
  33. 제29항에 있어서, 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 장치.
  34. 제25항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단에 의해 표시되는 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    상기 제1 회로는 상기 지정 수단에 의해 지정된 상기 범위를 상기 화상의 전송을 위한 범위로 결정하는 데이터 전송 장치.
  35. 적어도 화상 데이터를 전송하기 위한 데이터 전송 장치에 있어서,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단;
    상기 촬상된 화상으로부터 전송될 타겟 화상이 미리 설정된 크기를 갖도록 조정하기 위한 제1 회로; 및
    화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로
    를 포함하며,
    상기 타겟 화상이 미리 설정된 크기를 갖도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 상기 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하고,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하고,
    상기 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 상기 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 장치.
  36. 삭제
  37. 제35항에 있어서,
    상기 타겟 화상이 미리 설정된 크기를 갖도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 상기 특징 부분의 거리를 계산하고 이것을 상기 화상의 확대, 축소 및 트래킹에 이용하는 데이터 전송 장치.
  38. 삭제
  39. 제37항에 있어서,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  40. 제35항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단상에 표시된 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 지정 수단에 의해 지정된 포인트 주위의 부분을 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  41. 제37항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단상에 표시된 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 지정 수단에 의해 지정된 포인트 주위의 부분을 상기 화상의 특징 부분으로서 이용하는 데이터 전송 장치.
  42. 삭제
  43. 제39항에 있어서,
    상기 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 상기 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 장치.
  44. 제35항에 있어서,
    화상 데이터를 표시하고, 특정 위치를 지정할 수 있는 포인터를 포함하는 표시 수단; 및
    상기 표시 수단에 의해 표시되는 상기 화상의 특정 위치를 상기 포인터에 의해 지정할 수 있는 지정 수단을 포함하고,
    상기 제1 회로는 상기 지정 수단에 의해 지정된 상기 범위를 상기 화상의 전송을 위한 범위로 결정하는 데이터 전송 장치.
  45. 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템으로서,
    상기 단말기는,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단;
    상기 촬상 수단에 의해 촬상된 화상으로부터 전송될 타겟 화상이 화상 프레임을 완전히 채우도록 조정하기 위한 제1 회로; 및
    상기 화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로
    를 포함하며,
    전송될 상기 타겟 화상이 상기 화상 프레임을 완전히 채우도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하고,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 화상 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하고,
    화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 시스템.
  46. 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템으로서,
    상기 단말기는,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단;
    상기 촬상 수단에 의해 촬상된 화상으로부터 상기 전송될 타겟 화상이 미리 설정된 크기가 되도록 조정하기 위한 제1 회로; 및
    화상 프레임내의 상기 조정된 화상 데이터를 압축하여 전송하기 위한 제2 회로
    를 포함하며,
    상기 타겟 화상이 미리 설정된 크기를 갖도록 조정하는 경우, 상기 제1 회로는 전송될 상기 화상의 특징 부분의 화상을 이용하여 매칭을 행하고 최적 매칭을 갖는 상기 부분 주위의 화상을 잘라내어 상기 화상의 트래킹을 행하고,
    화상 데이터를 표시하기 위한 표시 수단; 및
    상기 표시 수단에 의해 표시된 화상을 원하는 상태로 록킹할 수 있는 록킹 수단을 포함하고,
    화상의 특징 부분을 검출하는 경우에는, 상기 제1 회로가 상기 록킹 수단에 의해 록킹된 상기 화상의 중심부를 상기 화상의 특징 부분으로서 이용하고,
    상기 화상의 특징 부분을 이용하여 타겟 화상을 록킹하는 경우에, 상기 제1 회로는 상기 화상을 페치하여 상기 전송될 화상과 동일하거나 큰 프레임 레이트로 트래킹 동작을 수행하고, 트래킹을 위한 기준으로서 기능하는 레퍼런스 화상을 상기 전송 프레임 레이트와 동일하거나 큰 레이트로 갱신하는 데이터 전송 시스템.
  47. 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 수신된 화상 데이터를 상기 표시 스크린상에 표시하면서 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템으로서,
    전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단은 상기 표시 스크린의 중앙에 제공되는 데이터 전송 시스템.
  48. 복수의 단말기간에서 사용자의 적어도 화상 데이터를 표시 스크린에 표시하고, 상대방의 수신된 화상 데이터 및 함께 토론중인 콘텐츠를 표시 스크린상에 표시하면서, 적어도 화상 데이터를 전송하기 위한 데이터 전송 시스템으로서,
    상기 표시 스크린의 중앙에 제공되고, 전송될 타겟 화상을 포함하는 화상을 촬상하는 촬상 수단; 및
    상기 촬상 부분으로서 기능하는 상기 표시 스크린의 중앙부로부터 상기 표시 스크린의 상측 또는 하측 중 하나에 상기 화상 데이터를 표시하고, 다른 측에 상기 콘텐츠를 표시하기 위한 표시 수단
    을 포함하는 데이터 전송 시스템.
KR1020010028327A 2000-05-24 2001-05-23 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템 KR100881526B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000157994 2000-05-24
JP2000-157994 2000-05-24

Publications (2)

Publication Number Publication Date
KR20010107671A KR20010107671A (ko) 2001-12-07
KR100881526B1 true KR100881526B1 (ko) 2009-02-05

Family

ID=18662534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010028327A KR100881526B1 (ko) 2000-05-24 2001-05-23 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템

Country Status (3)

Country Link
US (1) US6947601B2 (ko)
EP (1) EP1158786A3 (ko)
KR (1) KR100881526B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212680A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940558B2 (en) * 2001-12-06 2005-09-06 Koninklijke Philips Electronics N.V. Streaming content associated with a portion of a TV screen to a companion device
FI114957B (fi) 2001-12-31 2005-01-31 Nokia Corp Menetelmä ja järjestelmä matkaviestintään
US7271809B2 (en) * 2002-02-19 2007-09-18 Eastman Kodak Company Method for using viewing time to determine affective information in an imaging system
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
GB2389498B (en) * 2002-04-30 2005-06-29 Canon Kk Method and apparatus for generating models of individuals
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
WO2004030373A1 (ja) * 2002-09-26 2004-04-08 Seiko Epson Corporation 画像データの出力画像調整
JP4127191B2 (ja) * 2002-11-18 2008-07-30 セイコーエプソン株式会社 画像データの自動トリミング処理
GB2395853A (en) 2002-11-29 2004-06-02 Sony Uk Ltd Association of metadata derived from facial images
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
DE50303524D1 (de) * 2003-01-23 2006-06-29 Benq Mobile Gmbh & Co Ohg Mobiltelefon mit schwenkbarer kamera
KR100469727B1 (ko) * 2003-03-07 2005-02-02 삼성전자주식회사 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
DE10321498A1 (de) * 2003-05-13 2004-12-02 Siemens Ag Verfahren zum Übertragen von Bilddaten
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
KR20050033949A (ko) 2003-10-07 2005-04-14 삼성전자주식회사 휴대용 단말기의 오토줌임 제어방법
US20050248681A1 (en) * 2004-05-07 2005-11-10 Nikon Corporation Digital camera
US20060044741A1 (en) * 2004-08-31 2006-03-02 Motorola, Inc. Method and system for providing a dynamic window on a display
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
JP2006135837A (ja) * 2004-11-09 2006-05-25 Nec Access Technica Ltd テレビ電話
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4540705B2 (ja) * 2005-02-17 2010-09-08 富士通株式会社 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム
JP4605458B2 (ja) * 2005-04-12 2011-01-05 富士フイルム株式会社 画像処理装置及び画像処理プログラム
KR100765267B1 (ko) * 2005-06-29 2007-10-09 삼성전자주식회사 전자장치와 그 제어방법 및 이를 포함하는 전자제어시스템
WO2007026269A1 (en) * 2005-08-29 2007-03-08 Koninklijke Philips Electronics N.V. Communication system with landscape viewing mode
US7918614B2 (en) 2006-01-20 2011-04-05 Sony Ericsson Mobile Communications Ab Camera for electronic device
US7822338B2 (en) * 2006-01-20 2010-10-26 Sony Ericsson Mobile Communications Ab Camera for electronic device
CN101366269B (zh) * 2006-01-20 2010-11-03 索尼爱立信移动通讯股份有限公司 用于电子器件的照相机
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7986336B2 (en) 2006-11-27 2011-07-26 Eastman Kodak Company Image capture apparatus with indicator
JP4845715B2 (ja) * 2006-12-22 2011-12-28 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、及び記憶媒体
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
CN101751686A (zh) * 2008-12-22 2010-06-23 鸿富锦精密工业（深圳）有限公司 对图片进行调整的显示装置及方法
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US9167289B2 (en) * 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
KR101328058B1 (ko) * 2011-09-23 2013-11-08 엘지전자 주식회사 단말기를 이용한 카메라 제어 방법 및 그 단말기
CN103634556B (zh) * 2012-08-27 2017-04-19 联想(北京)有限公司 一种信息传输、接收方法及电子设备
KR102126507B1 (ko) * 2013-12-09 2020-06-24 삼성전자주식회사 센서 데이터 스트림을 처리하는 단말기, 시스템 및 방법
CN104318879A (zh) * 2014-10-20 2015-01-28 京东方科技集团股份有限公司 显示装置、显示装置故障分析系统和方法
GB2569544B (en) * 2017-12-19 2022-07-20 Displaylink Uk Ltd Transmission of a reverse video feed
CN109144440A (zh) * 2018-06-26 2019-01-04 努比亚技术有限公司 一种显示刷新控制方法、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
KR19990026714A (ko) * 1997-09-26 1999-04-15 전주범 화상전화장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE407976B (sv) * 1973-03-13 1979-04-30 Bofors Ab Forfarande och anordning for malfoljning
EP0103380B1 (en) * 1982-07-23 1986-10-08 British Telecommunications Improvements relating to data transmission
EP0100216B1 (en) * 1982-07-23 1987-03-04 BRITISH TELECOMMUNICATIONS public limited company Improvements relating to video data transmission
JP3116967B2 (ja) * 1991-07-16 2000-12-11 ソニー株式会社 画像処理装置および画像処理方法
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
US5355450A (en) * 1992-04-10 1994-10-11 Avid Technology, Inc. Media composer with adjustable source material compression
US5323987A (en) * 1993-03-04 1994-06-28 The Boeing Company Missile seeker system and method
JP3653739B2 (ja) * 1993-10-08 2005-06-02 株式会社ニコン 被写体追尾機能を有するカメラ
US5420692A (en) * 1994-06-06 1995-05-30 Motorola, Inc. Method and apparatus for encoding a facsimile message
US5521634A (en) * 1994-06-17 1996-05-28 Harris Corporation Automatic detection and prioritized image transmission system and method
JPH08125908A (ja) * 1994-10-28 1996-05-17 Hitachi Ltd 自動追尾撮像装置
US5460178A (en) * 1995-01-31 1995-10-24 Centre De Recherche Industrielle Du Quebec Ultrasonic transmission imaging apparatus and method
US5828913A (en) * 1995-06-06 1998-10-27 Zanen; Pieter O. Method for three dimensional measurement and imaging having focus-related convergence compensation
JPH0998335A (ja) * 1995-09-29 1997-04-08 Konica Corp 画像データ通信用ビデオカメラ
US5832125A (en) * 1995-12-07 1998-11-03 Intel Corporation Bit rate control using short-term and long-term performance characterization
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6853453B2 (en) * 1999-03-12 2005-02-08 Regents Of The University Of Minnesota Video camera-based visibility measurement system
US6529482B1 (en) * 1999-06-30 2003-03-04 Qualcomm Inc. Method and apparatus for adjusting a signal-to-interference threshold in a closed loop power control communications system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
KR19990026714A (ko) * 1997-09-26 1999-04-15 전주범 화상전화장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212680A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
KR20010107671A (ko) 2001-12-07
EP1158786A2 (en) 2001-11-28
EP1158786A3 (en) 2005-03-09
US20020054032A1 (en) 2002-05-09
US6947601B2 (en) 2005-09-20

Similar Documents

Publication Publication Date Title
KR100881526B1 (ko) 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템
KR0180543B1 (ko) 화상통신장치
JP4602632B2 (ja) ビデオ会議の方法とシステム
JP2001514825A (ja) イメージ品質の対話型制御のためのイメージング・システムおよび方法
US20040070666A1 (en) Method and apparatus for transmitting a video image
EP1347646A2 (en) Communication terminal for transmission of facial information
KR100719841B1 (ko) 썸네일 생성 및 표시 방법
JPH07288789A (ja) 知的符号化装置及び画像通信装置
JP2002051315A (ja) データ伝送方法およびその装置、並びにデータ伝送システム
JP2000059772A (ja) 映像表示方式
JP3279581B2 (ja) 一体型テレビ電話装置
KR100678035B1 (ko) 휴대단말기의 촬영자 식별장치 및 방법
JP5265468B2 (ja) 映像受信装置及び表示装置
JP2008005349A (ja) 映像符号化装置、映像伝送装置、映像符号化方法及び映像伝送方法
US20030052962A1 (en) Video communications device and associated method
JPH09200715A (ja) 通信装置、通信方法及び通信システム
JPH0730888A (ja) 動画像送信装置及び動画像受信装置
KR100588742B1 (ko) 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법
JPH0946710A (ja) 画像通信システムおよび画像通信装置
KR100678059B1 (ko) 거울기능을 가지는 휴대용 복합 통신단말기 및 그 구현방법
JP2001111976A (ja) 映像撮影装置および通信端末装置
JP3636011B2 (ja) 携帯テレビ電話装置における撮影画像データ補正方法及びその装置
JPH0823527A (ja) テレビ電話システム
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
WO2007122907A1 (ja) 画像コーデック装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee