KR100310807B1 - 비디오폰시스템 - Google Patents

비디오폰시스템 Download PDF

Info

Publication number
KR100310807B1
KR100310807B1 KR1019950022440A KR19950022440A KR100310807B1 KR 100310807 B1 KR100310807 B1 KR 100310807B1 KR 1019950022440 A KR1019950022440 A KR 1019950022440A KR 19950022440 A KR19950022440 A KR 19950022440A KR 100310807 B1 KR100310807 B1 KR 100310807B1
Authority
KR
South Korea
Prior art keywords
image data
user
stored
obtaining
fatigue
Prior art date
Application number
KR1019950022440A
Other languages
English (en)
Inventor
가와사키유지
고야마준
이시후토시
야마자기순페이
Original Assignee
야마자끼 순페이
가부시키가이샤 한도오따이 에네루기 켄큐쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야마자끼 순페이, 가부시키가이샤 한도오따이 에네루기 켄큐쇼 filed Critical 야마자끼 순페이
Application granted granted Critical
Publication of KR100310807B1 publication Critical patent/KR100310807B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Abstract

카메라와 마이크로폰을 구비하고 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템에 있어서, 카메라에 의해 얻어진 사용자의 화상 데이터가 기억장치내에 미리 저장된다. 한 사용자가 다른 사용자와 통신할 때, 한 사용자의 화상 데이터가 카메라에 의해 얻어지고, 화상처리에 의해, 기억장치내에 미리 저장된 화상 데이터와 합성된다. 한 사용자의 복장, 두발 상태, 배경, 화장 상태 등이 실제와 다르게 구성되어, 그 화상 데이터가 통신의 상대인 다른 사용자에 송신된다.

Description

비디오폰 시스템
제 1 도는 카메라와 마이크로폰을 구비하고 화상처리를 헹하는 정보처리 시스템의 블록도.
제 2 도는 화상처리에서의 패턴 매칭의 원리를 나타내는 도면.
제 3 도는 정보처리 시스템의 외부 구조의 일 예를 나타내는 도면.
제 4 도∼제 6 도는 화상처리를 위한 플로차트.
* 도면의 주요부분에 대한 부호의 설명
101 : 마이크로프로세싱 장치(MPU) 102 : 주기억장치
103 : 메모리 컨트롤러 104 : 비디오 랜덤 액세스 메모리(VRAM)
105 : 멀티플렉서 106 : 디지털 신호 처리장치(DSP)
107 : CCD 카메라 108 : A/D 변환기
109 : 마이크로폰 1l0 : 회선 LSI 장치
111 : 스피커 112 : D/A 변환기
113 : 디스플레이장치 115 : 키보드
117 : 포인팅(pointing)장치 119 : 플래시 메모리
120 : 하드디스크
본 발명은, 카메라와 마이크로폰을 구비하고 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자들의 화상 데이터와 음성(음향) 데이터를 송수신하는 정보처리 시스템에 관한 것이다.
종래, 비디오폰 또는 컴퓨터를 사용하는 통신과 같은, 카메라와 마이크로폰을 구비한 정보처리 시스템을 터미널로 사용하는 통신 선로를 통해 화상 데이터와 음성 데이터를 송수신하는 정보처리 시스템들이 알려져 있다.
이들 정보처리 시스템에서는, 음성이 송신될 수 있을 뿐만 아니라, 대화자들이 서로의 얼굴 표정을 보면서 통화할 수 있고, 또한 문자 또는 사진과 같은 화상도 전송될 수 있어, 음성만을 송수신하는 경우보다 더 많은 양의 데이터를 송수신하는 것이 가능하고, 그리하여 상세하고 심오한 대화가 행해질 수 있다.
이들 정보처리 시스템에서는, 대화자들의 의도와 무관하게, 통신 당사자들 모두의 화상 데이터가 송신된다. 그리하여, 통신 당사자들이 서로 통신을 행하기 전에, 외관을 정리하고 주위 환경을 정돈하는 작업과 같은, 통신에 불필요한 작업을 행하는 것이 종종 필요하다.
따라서, 통신의 간이성(簡易性)이 저해된다. 또한, 대화를 하고저 미리 계획한 송신자에 비하여, 수신자는 대화를 위한 충분한 준비를 하지 않았을 수 있기 때문에, 수신자의 프라이버시 보호의 관점에서 결함이 있다.
즉, 음성과 화상을 포함하는 통상의 데아터 통신에서는, 사용자들의 외관이 화상 데이터로서 상대방에게 직접 전송되기 때문에, 수신자의 의향에 반하여 통신을 해야할 필요가 있을 경우에는, 수신자가 정신적 고통을 받는다.
예를 들어, 수신자가 방금 잠에서 깨어난 상태에서, 카메라와 마이크로폰을 구비한 정보처리 시스템에 의해 통신을 하지 않을 수 없는 경우, 즉, 복장, 두발 또는 화장 상태, 주위 환경 등이 단정치 못하여 수신자가 상대방에 보이는 것이 실례되는 경우, 또는 수신자가 극도로 피로하여 표정이 침울하게 될 것 같은 경우, 수신자는 카메라에 의해 찍힌 자신의 화상 데이터가 상대방에게 보내지는 것을 피하기 위해 화상 데이터의 송신을 거절하지 않으면 안되었다.
그리하여, 수신자의 최소한의 프라이버시를 보호하기 위해, 화상 데이터의 송신을 정지시키고 음성 데이터만의 통신올 헹하게 되어, 화상과 음성의 정보 통신을 사용하는 서비스가 효과적으로 이용되지 않게 되는 일이 있었다.
또한, 송신자가 갑작스럽게 정보를 송신할 필요가 있을 경우라도, 수신자가 상대방에게 실례되게 보이지 않도록 정리하고 주위 환경을 정돈하지 않은 한 수신자가 화상 전송을 수반한 통신을 행하는 것을 삼가려고 결정할 수 있고, 결국은, 그 문제를 통상의 음성만의 전화 또는 팩시밀리로 처리할 가능성이 있다.
본 발명의 목적은, 카메라와 마이크로폰을 구비한 정보처리 시스템을 사용하여 화상 데이터와 음성 데이터를 송수신할 때, 송신자가 원하지 않는 화상 데이터를 송신함이 없이 화상과 음성(음향)에 의한 대화를 가능하게 하는 정보처리 시스템을 제공하는데 있다.
상기 문제를 해결하기 위해, 본 발명의 일 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 화상 데이터를 얻기 위한 카메라와, 사용자의 음성(음향) 데이터를 얻기 위한 마이크로폰과, 사용자의 얼굴 이외의 부분들의 다른 화상 데이터를 얻기 위해 상기 화상 데이터를 화상처리하기 위한 수단과, 화상처리된 화상 데이터와 얻어진 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다. 이 구성에서, 사용자의 얼굴 이외의 부분이란, 배경, 복장, 두발, 목 아래 부분 등을 말한다.
또한, 본 발명의 다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 표정을 나타내는 하나의 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 화상 데이터를 다른 화상 데이터로 전환하거나 상기 화상 데이터를 다른 화상 데이터와 합성하기 위한 수단과, 전환 또는 합성된 화상 데이터와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상 데이터를 상기 다른 화상 데이터와 합성하기 위한 수단과, 합성된 화상 데이터와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도는, 상기 하나의 화상 데이터에 따라 단위 시간당 사용자의 깜박임 횟수를 측정하고, 그 깜박임 횟수를, 미리 측정된 단위 시간당 사용자의 기준 깜박임 횟수를 나타내는 기준 깜박임 값과 비교함으로써 구해지는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도는, 상기 하나의 화상 데이터에 따라 단위 시간당 사용자의 깜박임 횟수의 측정과 사용자의 식별을 행하고, 그 식별에 의거하여, 미리 측정한 단위 시간당 사용자의 기준 깜박임 횟수를 나타내는 사용자의 기준 깜박임 값을 참조하고, 사용자의 깜박임 횟수를 상기 기준 깜박임 값과 비교함으로써 구해지는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도는, 단위 시간당 사용자의 깜박임 횟수를 측정하고 ID 번호에 의해 사용자를 식별하고, 그 식별에 의거하여, 미리 측정한 단위 시간당 사용자의 기준 깜박임 횟수를 나타내는 사용자의 기준 깜박임 값을 참조하고, 사용자의 깜박임 횟수를 상기 기준 깜박임 값과 비교함으로써 구해지는 정보처리 시스템이 제공된다.
더 상세하게는, 본 명세서에 개시된 중요한 발명들중 하나는, 카메라와 마이크로폰을 구비한 정보처리 시스템(예를 들어, 전송로에 연결된 퍼스널 컴퓨터 또는 비디오폰)에 있어서, 사용자의 깜박임 횟수가 카메라에 의해 얻어진 화상 데이터로 부터 구해지고, 사용자의 피로도가 내부 타이밍 회로를 사용하여 단위 시간당 깜박임 횟수를 계산함으로써 추정되고, 이것이 어떤 일정한 값을 초과한 경우에는, 사용자의 실제의 화상 데이터가 송신되지 않고, 미리 촬영하여 저장된 화상 데이터에 사용자의 입의 움직임을 합성한 화상 데이터가 송신되는 정보처리 시스템이다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도가, 상기 하나의 화상 데이터에 따라 사용자의 안구의 충혈 정도를 측정함으로써 구해지는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도가, 상기 하나의 화상 데이터에 따라 사용자 안구의 현재의 충혈 정도의 측정과 사용자의 식별을 행하고, 그 식별에 의거하여 기준 충혈 정도를 가지는 기준 화상 데이터를 참조하고, 사용자 안구의 현재의 충혈 정도를 상기 기준 충혈 정도와 비교함으로써 구해지는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴의 표정을 나타내는 하나의 화상, 데이터와 사용자의 입의 움직임을 나타내는 다른 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 상기 하나의 화상 데이터를 미리 저장하기 위한 수단과, 저장된 하나의 화상데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 하나의 화상 데이터를, 상기 저장된 하나의 화상 데이터와 상기 다른 화상 데이터를 합성함으로써 얻어지는 합성된 화상 데이터로 전환하기 위한 수단과, 상기 저장된 하나의 화상 데이터와 상기 합성된 화상 데이터중 하나와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하고, 사용자의 상기 피로도가, 사용자 안구의 현재의 충혈 정도를 측정하고 ID 번호에 의해 사용자를 식별하고, 그 식별에 의거하여 기준 충혈 정도를 가지는 기준 화상 데이터를 참조하고, 사용자 안구의 현재의 충혈 정도를 상기 기준 충혈 정도와 비교함으로써 구해지는 정보처리 시스템이 제공된다.
즉, 본 명세서에 개시된 중요한 발명들중 다른 하나는, 카메라와 마이크로폰을 구비한 정보처리 시스템에 있어서, 사용자의 피로도가 카메라에 의해 얻어진 화상 데이터로부터 사용자 안구의 충혈 정도를 구함으로써 추정되고, 이것이 어떤 일정한 값을 초과한 경우에는, 사용자의 실제의 화상 데이터가 송신되지 않고, 미리 촬영하여 저장된 화상 데이터에 사용자의 입의 움직임을 합성한 화상 데이터가 송신되는 정보처리 시스템이다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 배경 데이터를 포함하는 사용자의 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 소망의 배경 데이터를 저장하기 위한 수단과, 화상처리에 의해 상기 배경 데이터를 상기 소망의 배경 데이터로 변경하기 위한 수단과, 화상처리된 화상 데이터와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 사용자의 얼굴을 포함하는 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 화상처리에 의해 상기 화상 데이터에 포함된 사용자의 얼굴을 화장 장식(메이크업)하기 위한 수단과, 화상처리된 화상 데이터와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보처리 시스템이 제공된다.
또한, 본 발명의 또다른 실시형태에 따르면, 전송로를 통해 다른 정보처리 시스템과의 사이에서 사용자의 정보를 송수신하는 정보처리 시스템으로서, 얼굴 데이터 및 배경 데이터를 포함하는 사용자의 화상 데이터를 얻기 위한 카메라와, 사용자의 음성 데이터를 얻기 위한 마이크로폰과, 소망의 배경 데이터를 저장하기 위한 수단과, 화상처리에 의해 상기 화상 데이터중 얼굴 데이터를 화장 장식하고 상기 배경데이터를 상기 소망의 배경 데이터로 변경하기 위한 수단과, 화상처리된 화상 데이터와 음성 데이터를 다른 정보처리 시스템에 송신하기 위한 수단을 포함하는 정보 처리 시스템이 제공된다.
즉, 본 명세서에 개시된 중요한 발명들중 또다른 하나는, 카메라와 마이크로폰을 구비한 정보처리 시스템에 있어서, 배경이 사용자의 선택에 의해 임의적으로 변경되고, 다른 정보처리 시스템에 전송될 사용자의 배경의 화상 데이터가 변경되는 정보처리 시스템이다. .
제 1 도는 본 발멍의 바람직한 실시예에 따른 정보처리 시스템의 블록도를 나타내고, 제 3 도는 그 정보처리 시스템의 외부 구조를 나타낸다. 이것은, CCD(전하결합소자) 카메라와 마이코로폰을 구비한 PC(퍼스널 컴퓨터) 또는 WS(워크스테이션)의 예이다.
이 실시예의 정보처리 시스템은 마이크로프로세싱 장치(MPU)(101), 주기억장치(102), 메모리 컨트롤러(103), 비디오 랜덤 액세스 메모리(VRAM)(104), 멀티플렉서(105), 디지털 신호처리 장치(DSP)(106), CCD 카메라(107), A/D 변환기(108), 마이크로폰(109), 회선 LSI(large scale integrated) 장치(110), 스피커(111), D/A 변환기(112), 디스플레이장치(113), 디스플레이장치 컨트롤러(114), 키보드(115), 키보드 컨트롤러(116), 포인팅(pointing)장치(117), 포인팅장치 컨트롤러(118), 플래시(flash) 메모리(119), 하드 디스크(120) 및 하드 디스크 컨트롤러(121)를 포함한다.
MPU(101)는 메모리 컨트롤러(103), 회선 LSI 장치(110) 등, 전체 시스템을 제어 한다.
주기억장치(102)는 CCD 카메라(107)에 의해 얻어진 사용자의 얼굴 등을 나타내는 화상 데이터를 화상처리하는데 사용된다. 즉, 화상 데이터에 포함된 사용자의 표정으로부터 피로도를 검출하기 위해 화상처리가 MPU(101)에 의해 주기억장치(102)에서 행해진다. 메모리 컨트롤러(103)는 VRAM(104)의 리프레시(refresh) 동작과 읽기/쓰기 동작의 제어를 행하고, VRAM(104)에 저장된 데이터를 직접 메모리 액세스(DMA) 전송에 의해 주메모리장치(102)로 전송한다. VRAM(104)에, 사용자의 화상 데이터와 음성(음향) 데이터가 저장된다.
멀티플렉서(105)는 CCD 카메라(107)에 의해 얻어진 화상 데이터 또는 마이크로폰(l09)에 의해 얻어진 음성 데이터를 선택한다.
CCD 카메라(107)가 사용자의 화상 데이터를 얻고, 얻어진 화상 데이터(비디오 신호)는 디지털 신호 처리장치(106)에 의해 2진화된 다음, VRAM(104)에 저장된다. 마이크로폰(109)이 사용자의 음성을 음성 신호로서 얻고, A/D 변환기(108)가 그 음성 신호를 디지털화하고, 그 음성 데이터가 멀티플렉서(105)를 통해 VRAM(104)에 저장된다.
회선 LSI 장치(110)는 외부 회선을 위한 인터페이스로 작동하고, 외부 회선의 프로토콜에 의해 정의되는 패킷(packet) 포맷을 사용하여 DMA 전송에 의해 화상 데이터와 음성 데이터를 통신 상대에 전송한다. 또한, 회선 LSI 장치(110)는 그 통신 상대로부터 다른 사용자의 화상 데이터와 음성 데이터를 받는다.
이 실시예에서는, 인텔리전트(intelligent)형 옵션 보드 또는 덤(dumb)형 옵션보드를 PC 또는 WS의 버스에 접속하여, PC 또는 WS의 CPU(중앙처리장치)로부터 직접 주변회로들을 제어하는 것도 가능하다.
스피커(111)는 주로, 다른 정보처리 시스템으로부터 전송된 다른 사용자의 음성 데이터를 D/A 변환기(112)를 통해 출력하여 다른 사용자인 송신자의 음성을 재생한다.
디스플레이장치(113)는 주로, 디스플레이장치 컨트롤러(114)의 제어하에 다른 정보처리 시스템으로부터 전송된 다른 사용자의 화상 데이터를 표시한다.
키보드(115)는 키 입력 제어를 위한 키보드 컨트롤러(116)에 의해 제어되고, 사용자들의 ID 정보와 같은 여러가지 정보를 키 입력하는데 사용된다.
포인팅(pointing)장치(117)는 마우스, 볼 등을 포함하고, 포인팅장치 컨트롤러(118)에 의해 제어된다.
이러한 정보처리 시스템에서, CCD 카메라(107)에 의해 얻어진 화상 데이터는 필요에 따라 화상처리된 다음, 다른 정보처리 시스템으로 전송된다.
이하, 본 발명의 정보처리 시스템의 작동을 제 4 도∼제 6 도에 의거하여 설명한다.
다른 정보처리 시스템의 사용자에의 통신을 준비하기 위해, 사용자의 얼굴등을 나타내는 화상 데이터와 음성 데이터가 이 시스템에서 미리 얻어진다. 즉, CCD 카메라(107)에 의해 사용자의 화상 데이터(원(原) 화상 데이터)가 얻어지고(단계 A1, 얻어진 화상 데이터(비디오 신호)는 디지털 신호 처리장치(106)에 의해 2진화된 다음, VRAM(104)에 저장된다(단계 A3). 동시에, 마이크로폰(109)에 의해 사용자의 음성 데이터(원 음성 데이터)가 얻어지고(단계 A2), 얻어진 음성 데이터(아날로그 신호)는 A/D 변환기(108)에 의해 디지털화된 다음, VRAM(104)에 저장된다(단계 A3).
다른 정보처리 시스템의 다른 사용자에 의해 통신이 요구될 때, 하기 작동에 의해 이 시스템의 사용자의 화상 데이터 등이 송신된다.
먼저, CCD 카메라(107)에 의해 소정 시간동안 사용자의 다수의 현재의 화상데이터가 얻어진(단계 B1) 다음, 디지털 신호 처리장치(106) 및 멀티플렉서(105)를 통해 VRAM(104)에 저장된다. MPU(101)에서, 다음의 과정들이 화상처리 프로그램에 따라 행해져 미리 저장된다. 즉, 단계 B2에서, 얻어진 현재의 화상 데이터로부터 사용자의 눈 부분이 추출된다.
단계 B에서, 추출된 눈 부분의 가장자리가 검출되는지 여부가 판단된다. 그 눈 부분의 가장자리가 검출되는 경우, 눈이 감긴 것, 즉, 사용자가 눈을 깜박인 것으로 결정될 수 있다. 그 판단은 각각의 추출된 눈 부분에 대해 행해지고, 사용 깜박임 횟수가 카운트된다(단계 B4); 단계 B5에서는, 단계 B4에서 계산된 카운트 값이 소정의 값보다 크거나 같은지 여부가 판단된다. 즉, 소정 시간동안의 사용자의 깜박임 횟수가 소정의 깜박임 횟수보다 작지 않은지 여부가 판단된다. 이것은, 깜박임 횟수가 인간의 피로도를 나타내는 파라미터로서 취해지고 깜박임 횟수가 피로도의 증가에 따라 증가한다는 사실을 기초로 한다.
단계 B5에서, 카운트 값이 소정의 값보다 크거나 같을 때, 사용자가 피로한 것으로 결정된다. 따라서, 단계 A3에서 미리 저장된 사용자의 원 화상 데이터가 VRAM(104)으로부터 판독되고, 현재의 화상 데이터가 원 화상 데이터와 합성된다(단계 B6). 합성된 화상 데이터는 회선 LSI 장치(110)를 통해 다른 정보처리 시스템의 통신 상대에 송신된다(단계 B7).
한편, 단계 135에서 카운트 값이 소정의 값보다 작으면, 사용자가 피로하지 않은 것으로 결정된다. 따라서, 현재의 화상 데이터가 화상 합성 없이 회선 LSI 장치(110)를 통해 다른 정보처리 시스템의 통신 상대로 송신된다(단계 B8).
상기한 화상처리는 MPU(101)에 의해 주기억장치(102)에서 행해진다. 이때, 소정 기간동안의 사용자의 깜박임 횟수가 MPU(101)에 의해 계산된다. 그 다음, 깜박임 횟수가 소정의 값보다 작지 않으면(즉, 소정의 값 이상이면), 하드 디스크(120), 플래시 메모리(119) 등에 미리 저장된 사용자의 화상이 사용자의 현재 화상의 입 부분과 합성된다. 합성된 화상은 회선 LSI 장치(110)에 의해 DMA 전송되어, 화상 데이터를 전송로에 송신하게 된다. 따라서, 마치 사용자가 미리 저장된 복장과 배경에서 대화하는 것처럼 화상 데이터를 송신하는 것이 가능하게 된다.
피로도를 나타내는 파라미터로서, 깜박임 횟수 이외에 안구의 충혈 정도가 사용될 수도 있다. 이 경우, 예를 들어, 다음의 과정이 이 시스템에서 행해진다.
먼저, CCD 카메라(107)에 의해 소정 시간동안 사용자의 다수의 현재의 화상 데이터가 얻어진(단계 C1) 다음, 디지털 신호 처리장치(106) 및 멀티플렉서(105)를 통해 VRAM(104)에 저장된다. MPU(101)에서, 다음의 과정들이 화상처리 프로그램에 따라 행해져 미리 저장된다. 즉, 단계 C2에서, 얻어진 현재의 화상 데이터로부터 사용자의 눈 부분이 추출된다.
단계 C3에서, 추출된 눈 부분으로부터 충혈 부분이 검출된다. 충혈 부분이 적색일 수 있기 때문에, 일 부분에서의 적색도가 소정의 수준보다 클 때, 그 부분이 충혈 부분인 것으로 결정되고, 그 부분이 충혈 부분으로 검출된다. 또한, 눈 부분에 대한 충혈 부분의 면적비가 측정된다(단계 C4). 그 면적비가 사용자의 충혈 정도를 결정하기 위한 지표로 사용된다.
단계 C5에서, 충혈 부분의 면적비가 소정의 값보다 크거나 같은지, 여부가 판단된다. 충혈 부분의 면적비가 소정의 값보다 작지 않으면, 사용자가 피로한 것으로 결정된다. 따라서, 단계 A3에서 미리 저장된 사용자의 원 화상 데이터가 VRAM(104)으로부터 판독되고, 현재의 화상 데이터가 원 화상 데이터와 합성된다(단계 B6). 합성된 화상 데이터는 회선 LSI 장치(110)를 통해 다른 정보처리 시스템의 통신 상대에 송신된다(단계 B7).
한편, 단계 C5에서 충혈 부분의 면적비가 소정의 값보다 작으면, 사용자가 피로하지 않은 것으로 결정된다. 따라서, 현재의 화상 데이터가 화상 합성 없이 회선 LSI 장치(110)를 통해 다른 정보처리 시스뎀의 통신 상대로 송신된다(단계 B8).
따라서, 마치 사용자가 미리 저장된 복장과 배경에서 대화하는 것처럼 화상 데이터를 송신하는 것이 가능하게 된다.
그러한 합성은 입만이 아니라, 눈과 피부의 움직임을 포함한 얼굴 전체에 대해서도 실행될 수 있다. 또한, 피로한 표정이 아니라, 건강시의 밝은 표정에 현재의 입 움직임, 또는, 예를 들어, 눈과 피부의 움직임을 포함한 표정을 합성한 것을 통신상대방에게 송신하여 그 상대방에 즐거운 기분을 주게 하는 것도 가능하다.
사용자의 식별은 얻어진 화상과 저장된 화상을 비교함으로써 행해질 수 있고, 또한 각각의 사용자에 사용자 ID를 부여하고 이것을 입력함으로써 행해질 수도 있다.
상기한 바와 같이, 사용자의 상황에 따라, 카메라에 의해 얻어진 화상을, 이 시스템을 사용하여 미리 얻은 화상으로 전환하고, 이들 화상을 합성하여, 사용자의 송신 화상을 형성하도록 함으로써, 사용자가 전송되는 것을 원하지 않는 화상을 송신함이 없이 사용자의 표정을 상대방에게 명확하게 송신하는 것이 실현될 수 있다.
그리하여, 프라이버시를 보호하고, 상대방에 실례되지 않는 화상을 송신하는 것이 가능하다.
이하에, 화상처리의 기본 방법에 관하여 설명한다.
화상처리장치는 2진화(binarization)에 의해 입력 화상을 2진 화상으로 변환한다. 2진화는, 밝기가 일정한 값(스레시홀드(threshold) 값) 이상일 때 1의 값을 설정하고, 그렇지 않은 때 0을 설정한다. 그 스레시홀드 값은 하기 방법들에 의해 결정 될 수 있다.
(1) 고정 스레시홀드값 방법에서는, 스레시홀드 값이 미리 설정된다. 이 방법은 화상의 변화가 적고 화상이 적어도 충분한 콘트라스트를 가질 때 사용될 수 있다.
(2) 화상내에서 "1"로 되는 부분의 비율이 미리 알려진 경우에는, p타일(tile)방법이 효과적이다. 통상은, 밝기의 히스토그램(histogram)이 취해지고, 누적 분포가 p퍼센트로 되는 밝기를 스레시홀드 값으로 한다. 히스토그램이 미리 작성되지 않아도, 적당한 스레시홀드 값을 사용하여 2진화하여 "1"의 비율을 얻는 것을 반복하는 것에 의해, 대략 p퍼센트로 되는 스레시홀드 값을 얻는 것이 가능하다.
(3) 모드(mode) 방법에서는, 밝기의 히스토그램이 쌍봉성(雙峰性)이면, 그의 골의 밝기의 값이 스레시홀드값으로 취해진다. 또한, 일정한 스레시홀드 값이 화면 전체에 적용되지 않고, 화면이 영역들로 분할되고, 분할된 영역들에 대하여 모드 방법에 의해 스레시홀드 값이 결정되는 가변 스레시홀드값 방법도 있다.
(4) 부동(浮動) 2진화 및 이동 평균 스레시홀드값 방법에서는, 밝기 신호의 진폭이 감쇠되고, 지연된 신호가 스레시홀드 값으로 설정되면, 밝기의 급격한 변화를 검출하는 것이 가능하다. 일정 기간에 걸쳐서의 평균 밝기가 스레시홀드 값으로설정되는 이동 평균법과 같은 유사한 방법이 사용될 수도 있다.
제 2 도는 특정 패턴의 위치를 검출하는 패턴 매칭(pattern matching)의 원리를 나타낸다. 대상 화상이 2진 화상으로 만들어지고, 검출될 영역이 "1"로 설정된다. 이 영역이 화상의 적당한 위치에 설정되고, 대상 화상과의 겹침 정도가 불일치 검출 블록(10)에서 조사된다. 다수의 위치들이 위치 설정 블록(11)에서 설정된다. 그 위치들에서 겹침이 걸출되면, 카운팅 블록(12)에서 카운팅이 행해진다. 카운트 값이 최소값 검출 블록(13)에서 검출된다. 겹침의 정도가 최대이고 불일치의 정도가 작을 때, 패턴의 위치가 얻어진다. 만일 불일치 정도가 어떤 위치에서도 작지 않으면, 그러한 패턴은 존재하지 않는 것으로 간주된다.
대상물의 2차원 패턴이 일정하지 않으면, 단순한 패턴 매칭만으로는 충분하지 않다. 화상으로부터 여러가지 특징이 추출되고, 그것을 조합하여 판단이 행해져야 한다. 화상의 일 부분으로부터 얻어진 특징이 국소 특징으로 불리고, 이것을 근거로 하여 이후의 처리가 종종 행해진다.
화상이 무엇을 나타내고 있는가를 알기 위해서는, 화상으로부터 특징들을 추출하여 대상을 기술하고, 이것을 이전에 형성된 모델과 매칭시키는 것이 필요하다.
특징들로서는, 점, 선, 영역, 및 다수의 레벨들이 있다. 즉, 특징들이 작은 국소 영역만으로부터 추출되거나, 또는 보다 큰 영역의 상태를 반영할 수 있다.
또한, 점들이 서로 연결되어 선을 형성하고 선들에 의해 둘러싸인 영역들이 얻어지도록, 특징들이 계층적으로 표현될 수 있다. 각각의 특징에 대하여, 어떤 레벨이 적당한가는 목적에 따라 달라진다.
상이한 밝기를 가지는 2개의 영역들 사이의 경계의 일부인 가장자리나 농담화상으로부터의 추출을 행하는데 공간 미분이 종종 사용된다. 어떤 점에서의 밝기의 차이와 그의 방향을 구하기 위해서는, 밝기 f(x, y)의 기울기를 계산하면 된다.
만일 f(x, y)가 연속 화상이면, 기울기 grad [f(x, y)]는 식 (1)로 나타내어지는 2차원 벡터로 된다.
grad [f(x, y)] = (∂f(x, y)/∂x, ∂f(x, y)/∂y) ...............(1)
이 절대값이 크면, 그곳에는 가장자리가 존재하고, 수직방향이 기울기로서 취해진다. 그러나, 선의 폭이 어느 정도 크며, 그리고 방향이 반대인 2개의 기울기가 있으면, 이것이 선의 경계인 것으로 취해질 수 있다. 또한, 선의 폭이 작으면, 식(2)의 래플라시안(Laplacian)이 사용될 수 있다.
△2f(x, y) = ∂2f(x, y)/∂x2+ ∂2f(x, y)/∂y2....................(2)
래플라시안의 값이 크면, 그곳이 다른 곳보다 더 어둡고, 그 값이 음이면, 그곳이 다른 곳보다 더 밝다.
가장자리들 또는 선 요소들을 연결하여 단일의 선을 추출하기 위해서는, 그선 요소들을 구하고, 화상을 4×4 화소의 작은 영역들로 분할하고, 각각의 작은 영역내 가장자리 점들(가장자리 요소들)중에서 미분값이 가장 큰 것들을 남기고 나머지를 소거한다. 각각의 가장자리 점 부근의 밝기를 조사함으로써 가장자리의 방향이 구해진다. 인접한 작은 영역들내 가장자리의 방향이 대략 동일하면, 2개의 가장자리 점들을 연결한다. 어디에도 연결되지 않은 점들은 노이즈(noise)인 것으로 간주되어 소거된다. 이 과정의 각 단계에서는, 화상의 부근만이 사용되고, 더욱이 각 점에 대한 처리는 다른 점들에 대한 처리와 독립적이다. 그러한 처리가 국소 처리로 불리고, 각 점의 처리를 병렬로 행하는 것이 가능하다.
국소 처리를 여러번 행함으로써 선을 검출하기 위해서는, 아래에 설명되는 것과 같은 확률을 사용하는 방법들이 있다. 먼저, 가장자리 점들을 검출함으로써, 가장자리 점의 강도(미분의 절대값)와 방향이 구해진다. 각 가장자리 점이 선상에 있을 확률의 초기값이 가장자리 점들의 강도에 의거하여 결정된다. 다음, 각 가장자리 점의 확률이 근방의 가장자리 점들의 강도와 방향에 의해 변경된다. 어떤 가장자리 점과 그 부근의 다른 가장자리 점이 동일한 방향을 가지면, 그 가장자리 점의 확률이 증가된다. 방향이 크게 다르면, 그 확률이 감소된다. 그러한 수정을 여러번 행함으로써, 노이즈가 점진적으로 제거되고, 선상의 가장자리 점의 확률이 1에 가깝게 된다. 이 과정이 이완법으로 불리고 있다.
파라미터 공간법에서는, 직선이 ρ = x cosθ + y sinθ로 나타내어진다. 얻어진 경계점들의 좌표(Xi, yi)를 θ-ρ평면으로 변환하면, 이 평면에서는 ρ = xicosθ + yisinθ로 나타내어지는 곡선이 얻어진다. 장면(scene)내의 모든 경계점들이 변환되면, 동일 직선상의 모든 점들이 θ-ρ평면의 한 점을 통과한다. 따라서, 다수의 곡선들이 지나는 점(θ。, ρ。)을 구하면, 직선에 대한 방정식이 얻어진다. 경계점들의 방향이 알려져 있으면, ρ에 관한 히스토그램으로부터 직선이 결정될 수 있다. 이 파라미터법은 미지(未知)의 파라미터들의 수만큼의 차원을 가진 공간내의 히스토그램을 만들 필요가 있어, 곡선에는 적용이 곤란하다. 그러나, 곡선에 대한 방정식에 포함된 파라미터들에 일정한 구속이 있고, 파라미터 공간의 차원이 2이하로 감소될 수 있는 경우에는 효과적이다.
추적법은 일반적인 곡선을 얻는데는 추적(트랙킹)법이 적용될 수 있다. 그위해서는 인접한 가장자리 점들을 연결하여 선들을 만드는 것이다. 추적을 행하기 다음의 과정이 요구된다.
(1) 추적을 시작할 점을 검출한다.
(2) 인접한 가장자리 점의 위치, 그리고 경우에 따라서는 그의 방향을 예측한다.
(3) 이 예측에 의거하여 가장자리 점을 검출한다.
(4) 추적을 계속할 것인지 추적을 끝낼 것인지를 결정한다.
추적은, 국소 처리와 달리, 직렬 처리를 포함한다. 따라서, 단일의 가장자리점이 검출되는 경우, 이 처리는 이전의 처리의 결과에 의존한다. 따라서, 얻어진 결과는 화상의 어디에서부터 처리가 시작하는가에 따라 다르다. 그러나 직렬 처리에서는, 이전에 얻어진 정보를 효과적으로 사용하는 것에 의해, 처리가 효과적으로 행해질 수 있는 가능성이 있다.
균일한 영역물을 추출하는 방법이 영역법으로 불리고, 다음의 2가지 처리 과정을 포함한다.
(1) 병합에 의한 영역법에서는, 먼저, 다수의 작은 영역들이 만들어지고, 유사한 영역들이 병합된다.
(2) 분할에 의한 영역법에서는, 단일의 영역에서 시작하여, 그 영역이 다른 특성들을 가지는 영역들로 분할된다.
병합에 의한 영역법은, 처음에, 밝기가 대략 동일한 작은 영역들(기본 영역으로 불리는)을 구한다. 다음에, 인접한 2개의 영역들의 밝기의 차이, 경계의 길이, 및 그 영역들의 형태에 의거하여 영역들이 점진적으로 병합된다. 이 과정은 더 이상 병합될 영역들이 없게 될 때까지 반복된다.
분할에 의한 영역법은, 무엇에 의거하여 화상을 분할하면 좋은지가 중요한 문제점으로 된다. 여러가지 성질들의 히스토그램에 의거하여 컬러 화상을 분할는것은 다음과 같이 실행된다. 먼저, 화상의 각 화소의 적, 녹, 청, 밝기, 색상, 채도, 및 컬러 텔레비전 신호의 Y,I,Q를 검출한다. 그 파라미터들로부터 9가지 종류의 히스토그램을 작성하고, 그 중에서 현저한 피크(peak)와 골을 형성하는 파라미터들을 선택하고, 골을 경계로하여 좌우를 분할한다. 화소가 어떤 특성을 가지고 있는가에 따라 화상을 분할한다. 그 다음, 분할된 영역들에 대하여 여러가지 히스토그램을 작성하고, 이들을 다시 한번 더 미세하게 분할한다. 이 과정을, 더 이상 분할할 수 없게 될 때까지 반복한다.
분할에 의한 영역법은, 단순히 밝기만이 아니고, 이 예에서와 같이 비교적 많은 양의 정보를 이용할 수 있는 경우에 효과적이다. 그러나, 이 예에서와 같이, 9종류 만큼 많은 특성을 이용하는 것은 필요하지 않다.
상기한 방법들을 사용함으로서, 사용자의 화상 데이터를 얻은 후, 사용자가 깜박이었는지 아닌지를 판단하고 사용자의 안구의 충혈 정도를 계산하는 것이 가능하다. 또한 이 실시예에서는, 사용자의 안구가 CCD 카메라를 사용하여 관측되지만, 고글(goggle)형 헤드업(head-up) 디스플레이장치를 사용하여 안구의 주시 방향이나 동공의 반응을 관찰할 수도 있다.
이 실시예에서는, 복장과 배경을 변화시키는 예를 나타내었으나, 사용자가 극도로 피로한 것으로 판단된 때, 화상처리에 의해 사용자의 실제 표정을 변화시켜, 사용자의 건강 상태가 좋은 때의 밝고 건강한 얼글을 합성한 화상 데이터를 다른 정보처리 시스템에 송신하는 것이 가능하다. 또한, 이때, 예를 들어, 사용자가 극도로 피로하여, 음성의 음정이 낮아지기 쉬울 때, 밝은 음성으로 되도록 음성의 음질 또는 음정을 약간 제어하는 것이 유익하다.
본 발명에 따른 정보처리 시스템은 카메라와 마이크로폰을 구비하고 있고, 화상 데이터로부터 행해진 판단에 의거하거나, 또는 통신에서의 송신자의 의도에 의해, 미리 저장된 화상 데이터와 카메라에 의해 얻어진 화상 데이터를 합성하여, 복장, 두발 상태, 배경, 화장 상태 등을 실제와 다르게 하여 이들 데이터를 통신의 상대방에게 송신함으로써, 화상 데이터를 수반한 데이터 통신을 행할 때 통신에 포함된 당사자들의 프라이버시를 보호하는 것을 가능하게 한다.

Claims (7)

  1. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하는 것을 특징으로 하는 비다오폰 시스템.
  2. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와;사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도는, 상기 제1 화상 데이터에 따라 단위 시간당 사용자의 깜박임 횟수를 측정하고, 그 깜박임 횟수를 기준 깜박임 값과 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
  3. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 번경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도는, 상기 제1 화상 데이터에 따라 단위 시간당 사용자의 깜박임 횟수의 측정과 사용자의 식별을 행하고, 그 식별에 의거하여 사용자의 기준 깜박임 값을 참조하고, 상기 깜박임 횟수를 상기 기준 깜박임 값과 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
  4. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도는, 단위 시간당 사용자의 깜박임 횟수를 측정하고 ID 번호에 의해 사용자를 식별하고, 그 식별에 의거하여 사용자의 기준 깜박임 값을 참조하고, 상기 깜박임 횟수를 상기 기준 깜박임 값과 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템, 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 번경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도는, 상기 제1 화상 데이터에 따라 사용자의 안구의 충혈정도를 측정함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
  5. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상-데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도가, 상기 제1 화상 데이터에 따라 사용자 안구의 현재의 충혈 정도의 측정과 사용자의 식별을 행하고, 그 식별에 의거하여 기준 충혈 정도를 참조하고, 상기 현재의 충혈 정도를 상기 기준 충혈 정도와 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
  6. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를. 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도가, 사용자 안구의 현재의 충혈 정도를 측정하고 ID 번호에 의해 사용자를 식별하고; 그 식별에 의거하여 기준 충혈 정도를 참조하고, 상기 현재의 충혈 정도를 상기 기준 충혈 정도와 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
  7. 사용자의 얼굴의 표정을 나타내는 제1 화상 데이터와 사용자의 입의 움직임을 나타내는 제2 화상 데이터를 얻기 위한 카메라와; 사용자의 음성 데이터를 얻기 위한 마이크로폰과; 상기 제1 화상 데이터를 미리 저장하기 위한 수단과; 저장된 제1 화상 데이터를 화상처리함으로써 사용자의 피로도를 검출하고, 사용자의 피로도에 따라 상기 저장된 제1 화상 데이터를 변경하여, 그 변경된 제1화상 데이터와 상기 제2 화상 데이터를 합성한 합성 화상 데이터를 얻기 위한 수단과; 상기 저장된 제1 화상 데이터와 상기 합성 화상 데이터중 하나와 상기 음성 데이터를 원격지의 다른 비디오폰 시스템에 송신하기 위한 수단을 포함하고; 사용자의 상기 피로도가, 사용자 안구의 현재의 충혈 정도를 측정하고 ID 번호에 의해 사용자를 식별하고; 그 식별에 의거하여 기준 충혈 정도를 참조하고, 상기 현재의 충혈 정도를 상기 기준 충혈 정도와 비교함으로써 구해지는 것을 특징으로 하는 비디오폰 시스템.
KR1019950022440A 1994-07-28 1995-07-27 비디오폰시스템 KR100310807B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP94-198044 1994-07-28
JP19804494A JP3167865B2 (ja) 1994-07-28 1994-07-28 情報処理装置

Publications (1)

Publication Number Publication Date
KR100310807B1 true KR100310807B1 (ko) 2001-12-17

Family

ID=16384606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950022440A KR100310807B1 (ko) 1994-07-28 1995-07-27 비디오폰시스템

Country Status (5)

Country Link
US (1) US6307948B1 (ko)
JP (1) JP3167865B2 (ko)
KR (1) KR100310807B1 (ko)
CN (2) CN1484451A (ko)
TW (1) TW323361B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707484B1 (en) * 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
US10152876B2 (en) 1996-03-27 2018-12-11 Gtj Ventures, Llc Control, monitoring, and/or security apparatus and method
US10011247B2 (en) 1996-03-27 2018-07-03 Gtj Ventures, Llc Control, monitoring and/or security apparatus and method
US7253731B2 (en) 2001-01-23 2007-08-07 Raymond Anthony Joao Apparatus and method for providing shipment information
KR100261607B1 (ko) * 1997-06-30 2000-07-15 이중구 원격 통신이 가능한 디지탈 스틸 카메라
US9075136B1 (en) 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
US6483484B1 (en) 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
TWI252592B (en) 2000-01-17 2006-04-01 Semiconductor Energy Lab EL display device
JP2002024905A (ja) * 2000-07-06 2002-01-25 Nec Kofu Ltd 電子ジャーナル作成方式及び電子ジャーナル作成方法
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
JP2003283604A (ja) * 2002-03-20 2003-10-03 Oki Electric Ind Co Ltd 表情伝送機能付情報端末装置
US10562492B2 (en) 2002-05-01 2020-02-18 Gtj Ventures, Llc Control, monitoring and/or security apparatus and method
KR100619975B1 (ko) * 2004-12-22 2006-09-08 엘지전자 주식회사 이동통신 단말기의 합성 사진 생성 방법
US7583287B2 (en) * 2005-03-22 2009-09-01 Microsoft Corp. System and method for very low frame rate video streaming for face-to-face video conferencing
US9286643B2 (en) 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
CN103905773B (zh) * 2012-12-28 2018-08-10 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技（深圳）有限公司 视频通信方法及装置
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
TWI498858B (zh) * 2013-03-29 2015-09-01 Wistron Corp 自動偵測疲勞的電腦系統及方法
US10546441B2 (en) 2013-06-04 2020-01-28 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
US9821738B2 (en) 2014-06-30 2017-11-21 Raymond Anthony Joao Battery power management apparatus and method
US10097823B1 (en) * 2015-11-13 2018-10-09 Harmonic, Inc. Failure recovery for real-time audio and video encoding, decoding, and transcoding
CN106713811B (zh) * 2015-11-17 2019-08-13 腾讯科技（深圳）有限公司 视频通话方法和装置
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
US11760227B2 (en) 2021-02-15 2023-09-19 Raymond Anthony Joao Battery power management apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR880000903A (ko) * 1986-02-07 1988-03-30 포항종합제철 주식회사 생산관제용 종합정보 시스템
JPH03255793A (ja) * 1990-03-05 1991-11-14 Toyota Motor Corp 車両運転者監視装置
EP0571934A2 (en) * 1992-05-29 1993-12-01 Casio Computer Co., Ltd. Electronic image composing apparatus

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US435972A (en) * 1890-09-09 Straw-cutter
US4359724A (en) * 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
US4645872A (en) * 1982-04-01 1987-02-24 John Hopkins University Videophone network system
FR2531290A1 (fr) * 1982-07-30 1984-02-03 Poirier Alain Reseau de videocommunication entre des terminaux visiophoniques et une banque d'images
GB2150725B (en) * 1983-11-30 1988-02-17 Aisin Seiki Safety apparatus for a road vehicle
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
JPS63903A (ja) 1986-06-18 1988-01-05 日本鉱業株式会社 ビデオ及び又はテレビ用に使用する銅材
US4953111A (en) * 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JPH0779803B2 (ja) * 1987-12-09 1995-08-30 日本電装株式会社 居眠り検出装置
SE8800848D0 (sv) * 1988-03-10 1988-03-10 Saab Scania Ab Sett och anordning for att overvaka en fordonsforares styrbeteende
US5079627A (en) * 1988-06-15 1992-01-07 Optum Corporation Videophone
KR920007919B1 (ko) * 1988-06-27 1992-09-19 미쯔비시 덴끼 가부시기가이샤 텔레비젼 전화기
CH677599A5 (ko) * 1988-09-22 1991-06-14 Interzeag Ag
JPH02238788A (ja) 1989-03-13 1990-09-21 Mitsubishi Electric Corp パケツトテレビ会議端末装置
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
JPH0349492A (ja) 1989-07-18 1991-03-04 Mitsubishi Electric Corp 静止画テレビ電話装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH04310086A (ja) 1991-04-08 1992-11-02 Sharp Corp テレビ電話装置
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5541640A (en) * 1992-06-23 1996-07-30 Larson; Craig R. Videophone for simultaneous audio and video communication via a standard telephone line
JPH0638205A (ja) 1992-07-14 1994-02-10 Canon Inc 情報処理システム
US5465079A (en) * 1992-08-14 1995-11-07 Vorad Safety Systems, Inc. Method and apparatus for determining driver fitness in real time
JPH0670313A (ja) 1992-08-19 1994-03-11 Hitachi Ltd テレビ電話装置
JPH06141308A (ja) 1992-10-23 1994-05-20 Hitachi Ltd 携帯形テレビ電話機
JPH06205404A (ja) 1992-12-28 1994-07-22 Casio Comput Co Ltd テレビ電話装置
US5412708A (en) * 1993-03-12 1995-05-02 Katz; Ronald A. Videophone system for scrutiny monitoring with computer control
US5381195A (en) * 1993-03-22 1995-01-10 Rootzen; Holger Method and apparatus for testing a subject's perception of visual stimuli
JP3472594B2 (ja) * 1993-04-28 2003-12-02 株式会社日立製作所 テレビ対話システム及び中央局
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5734923A (en) * 1993-09-22 1998-03-31 Hitachi, Ltd. Apparatus for interactively editing and outputting sign language information using graphical user interface
US5606361A (en) * 1995-05-10 1997-02-25 Davidsohn; John Videophone interactive mailbox facility system and method of processing information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR880000903A (ko) * 1986-02-07 1988-03-30 포항종합제철 주식회사 생산관제용 종합정보 시스템
JPH03255793A (ja) * 1990-03-05 1991-11-14 Toyota Motor Corp 車両運転者監視装置
EP0571934A2 (en) * 1992-05-29 1993-12-01 Casio Computer Co., Ltd. Electronic image composing apparatus

Also Published As

Publication number Publication date
JP3167865B2 (ja) 2001-05-21
CN1127388A (zh) 1996-07-24
CN1124553C (zh) 2003-10-15
JPH0844861A (ja) 1996-02-16
TW323361B (ko) 1997-12-21
US6307948B1 (en) 2001-10-23
CN1484451A (zh) 2004-03-24

Similar Documents

Publication Publication Date Title
KR100310807B1 (ko) 비디오폰시스템
US8514261B2 (en) Information processing system
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
US7564476B1 (en) Prevent video calls based on appearance
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8565525B2 (en) Edge comparison in segmentation of video sequences
US8581953B2 (en) Method and apparatus for providing animation effect on video telephony call
CN108898546A (zh) 人脸图像处理方法、装置及设备、可读存储介质
JP3551668B2 (ja) 似顔絵送信装置、似顔絵通信装置及び方法
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
WO2017072534A2 (en) Communication system and method
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
TW202004660A (zh) 基於前景影像的背景虛化方法與電子裝置
CN111311733A (zh) 三维模型处理方法及装置、处理器、电子设备及存储介质
CN113222844B (zh) 一种图像美化方法、装置、电子设备及介质
CN114283473A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN103634557A (zh) 视频通话时用于个人保护的影像处理方法及装置
KR100439377B1 (ko) 이동 통신 환경에서의 사람 영역 추출방법
KR100464079B1 (ko) 화상 통신에서의 얼굴 검출 및 추적 시스템
CN108573033A (zh) 基于人脸识别的电子人脉网建立方法及相关设备
JP3434264B2 (ja) 情報処理装置
CN113610723B (zh) 图像处理方法及相关装置
CN113642364B (zh) 人脸图像处理方法、装置、设备及计算机可读存储介质
CN108399358A (zh) 一种在视频聊天的表情显示方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20130819

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee