JP7145995B2 - 端末機およびその動作方法 - Google Patents

端末機およびその動作方法 Download PDF

Info

Publication number
JP7145995B2
JP7145995B2 JP2021013320A JP2021013320A JP7145995B2 JP 7145995 B2 JP7145995 B2 JP 7145995B2 JP 2021013320 A JP2021013320 A JP 2021013320A JP 2021013320 A JP2021013320 A JP 2021013320A JP 7145995 B2 JP7145995 B2 JP 7145995B2
Authority
JP
Japan
Prior art keywords
terminal
sound
video
image
specific event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021013320A
Other languages
English (en)
Other versions
JP2021125880A (ja
Inventor
アン サンギル
リ カンサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyperconnect Inc
Original Assignee
Hyperconnect Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyperconnect Inc filed Critical Hyperconnect Inc
Publication of JP2021125880A publication Critical patent/JP2021125880A/ja
Application granted granted Critical
Publication of JP7145995B2 publication Critical patent/JP7145995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/253—Telephone sets using digital voice transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Emergency Management (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

記載された実施形態は、相手とビデオ通話をするユーザが相手からの不適切な映像の露出にさらされるのを防止できる端末機およびその動作方法に関する。
通信技術が発展し、電子装置が小型化されるに伴い、個人用端末機が一般消費者に広く普及されている。特に最近ではスマートフォンまたはスマートタブレットのような携帯用個人端末機が広く普及されている。端末機の大部分は、通信機能を含んでいる。ユーザは、端末機を用いてインターネットで検索を行ったり他のユーザとメッセージを交換することができる。
また、小型カメラ技術、小型マイク技術、小型ディスプレイ技術および小型スピーカー技術の発展に伴い、スマートフォンのような大部分の端末機には、カメラ、マイク、ディスプレイおよびスピーカーが含まれている。ユーザは、端末機を用いて音声を録音したり音声が含まれた動画を撮影することができる。ユーザは、端末機に含まれたスピーカーを介して前記録音された音声を確認したりディスプレイを介して撮影された動画を確認することができる。
また、ユーザは、端末機の通信機能を用いて録音された音声または前記撮影された動画を他のユーザと共有することができる。ユーザは、以前に録音された音声または以前に撮影された動画を他のユーザに伝送することができる。また、ユーザは、端末機により現在録音されている音声または現在撮影されている動画をリアルタイムで他のユーザに伝送することができる。
同時に、他のユーザは、自分の端末により現在録音されている音声または現在撮影されている動画をリアルタイムでユーザに伝送することができる。ユーザの端末機に含まれたディスプレイは、ユーザの端末機により現在撮影されている動画および他のユーザの端末機により現在撮影されている動画を同時に表示することができる。また、ユーザおよび他のユーザは、各自の端末を用いて互いにビデオ通話（ｖｉｄｅｏ ｃａｌｌ）をすることができる。
ユーザが相手と互いにビデオ通話をするとき、ユーザは、相手からの不適切な要素を含む映像(例:淫らな映像)の露出にさらされることがある。例えば、相手の端末機により撮影された不適切な要素を含む映像(例:相手の真っ裸になった身体の映像)がビデオ通話セッションを介してユーザの端末機に受信されることがある。ユーザの端末機が受信された映像を表示することによって、ユーザは、不適切な要素を含む映像(例:淫らな映像)の露出にさらされることがある。ユーザが自分の願わない映像の露出にさらされた場合、ユーザは、性的羞恥心または不快さを感じることができる。
記載された実施形態によれば、相手とビデオ通話をするユーザが相手からの不適切な要素を含む映像(例:淫らな映像)の露出にさらされるのを防止できる端末機およびその動作方法が提供され得る。
また、相手とビデオ通話をするユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止できる端末機およびその動作方法が提供され得る。
また、ユーザ間の健全なビデオ通話を誘導できる端末機およびその動作方法が提供され得る。
一開示により、コンピュータ読み取り可能な保存媒体に保存されたアプリケーションを提供し、アプリケーションは、
第１端末機および第２端末機の間にビデオ通話セッションを確立する段階と；第１ユーザに対応する前記第１端末機から獲得した第１映像および第１音のうちの少なくとも１つを前記第２端末機に伝送する段階と；第２ユーザーに対応する前記第２端末機で獲得された第２映像および第２音のうちの少なくとも１つを前記第１端末機で受信する段階と；前記ビデオ通話セッション中に前記第１端末機が特定イベントを検出する段階と；前記特定イベントの検出に対応して、前記第１端末機で前記第１映像または前記第１音に不適切な要素が含まれているか否かを判断する段階と；前記判断結果によって前記第１端末機で前記第１映像または前記第１音の伝送を停止する段階と；を含むことができる。
例えば、特定イベントは、第１端末機が任意の方向に臨界角速度を超過する角速度で傾くイベントを含むことができる。
例えば、第１端末機が第１映像または第１音に不適切な要素が含まれているかを判断する段階は、映像または音と不適切な要素の相関関係を学習した分類モデルを用いて特定イベントが検出された後に獲得される第１映像または第１音に不適切な要素が含まれているかを判断することができる。
例えば、特定イベントは、第１端末機で獲得する第１映像において臨界速度を超過する速度で第１ユーザの顔が消えるイベントを含むことができる。
例えば、アプリケーションは、第１端末機が第１映像または第１音の伝送を中止する場合、第２端末機で第１映像の代わりに代替映像が表示される段階をさらに含むことができる。
例えば、アプリケーションは、第１端末機が第１映像または第１音の伝送を中止した後に、第１端末機で獲得される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングする段階と、当該モニタリング結果、映像または音に不適切な要素が発見されない場合、第１端末機で生成される映像または音の伝送を再開する段階と、をさらに含むことができる。
例えば、特定イベントは、第１特定イベントであり、アプリケーションは、第１端末機が第１映像または第１音の伝送を中止した後に、第１端末機が第２特定イベントを検出する段階と、第２特定イベントの検出に対応して第１端末機で獲得される映像または音に不適切な要素が含まれているかを判断する段階と、第２特定イベントが検出された後に、第１端末機で獲得される映像または音に不適切な要素が含まれていない場合、第１端末機で生成される映像または音の伝送を再開する段階と、をさらに含むことができる。
例えば、特定イベントは、第１端末機が任意の方向に臨界角度を超過して傾くイベントを含むことができる。
例えば、不適切な要素が含まれているかを判断する段階は、イベントを検出する前に、第１周期毎に第１映像または第１音に不適切な要素が含まれているかを判断する段階と、特定イベントを検出すると、第２周期毎に第１映像または第１音に不適切な要素が含まれているかを判断する段階と、を含むことができる。
本発明の実施形態による端末機は、第１ユーザに関連した第１映像および第１音のうちの少なくとも1つを受信する入出力インターフェースと、ビデオ通話セッションを介して、第１映像および第１音のうちの少なくとも1つを相手の端末機に伝送し、相手の端末機により獲得される第２映像または第２音を受信する通信インターフェースと、第１映像および第２映像を表示するディスプレイと、ビデオ通話セッション中に特定イベントに対応して第１映像または第１音に不適切な要素が含まれているかを判断し、当該判断結果によって、第１映像または第１音の伝送を中止するプロセッサと、を含むことができる。
例えば、プロセッサは、端末機が任意の方向に臨界角速度を超過する角速度で傾く場合および任意の方向に臨界角度を超過して傾く場合のうちの少なくとも1つの場合に、特定イベントを検出することができる。
例えば、プロセッサは、映像または音と不適切な要素との相関関係を学習した分類モデルを用いて特定イベントが検出された後に受信される第１映像または第１音に不適切な要素が含まれているかを判断することができる。
例えば、プロセッサは、第１映像または第１音の伝送を中止した後に受信される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングし、当該モニタリング結果、不適切な要素が発見されない場合、映像または音の伝送を再開することができる。
例えば、特定イベントは、第１特定イベントであり、プロセッサは、第１映像または第１音の伝送を中止した後に第２特定イベントを検出し、第２特定イベントが検出されると、第２特定イベントが検出された後に受信される映像および音に不適切な要素が含まれているかを判断し、不適切な要素が含まれていない場合、映像または音の伝送を再開することができる。
例えば、プロセッサは、特定イベントが検出される前に、第１周期毎に第１映像または第１音に不適切な要素が含まれているかを判断し、特定イベントが検出されると、特定イベントの検出に対応して第１映像または第１音に不適切な要素が含まれているかを判断することができる。
例えば、プロセッサは、特定イベントが検出されると、指定された時間の間に、第２周期毎に第１映像または第１音に不適切な要素が含まれているかを判断することができる。
本発明は、ビデオ通話をするユーザが相手からの不適切な要素を含む映像（例：淫らな映像）の露出にさらされるのを防止できる端末機およびその動作方法に関する。
また、本発明は、相手とビデオ通話をするユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止できる端末機およびその動作方法に関する。
また、本発明は、ユーザ間の健全なビデオ通話を誘導できる端末機およびその動作方法に関する。
ビデオ通話サービスが提供される環境を説明するための図である。 本発明の実施形態による端末機の構成を示すブロック図である。 本発明の実施形態による端末機の傾きを示すための図である。 本発明の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。 本発明の他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。 本発明のさらに他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。 本発明の実施形態による端末機の動作方法を示すフローチャートである。 本発明の他の実施形態による端末機の動作方法を示すフローチャートである。
以下、添付の図面を参照して本発明の実施形態について本発明の属する技術分野における通常の知識を有する者が容易に実施することができるように詳細に説明する。しかしながら、本発明は、様々な異なる形態で具現され得、以下で開示される実施形態に限定されない。また、図面において本発明を明確に開示するために本発明と関係ない部分は省略し、図面において同一または類似の符号は、同一または類似の構成要素を示す。
本発明の目的および効果は、下記の説明により自然に理解されるか、さらに明確になり得、下記の記載だけで本発明の目的および効果が制限されるものではない。
以下、本発明の好ましい実施形態を添付の図面を参照して詳細に説明すれば、次の通りである。
図１は、ビデオ通話サービスが提供される環境を説明するための図である。
ビデオ通話サービスは、複数のユーザが各自の端末機を用いて自分の映像を相手に伝送し、相手の映像を受信することによって、意思を交換することができるサービスを意味する。ビデオ通話サービスを用いるユーザは、各自の端末機を介して、映像と音声を交換することができ、チャット機能を用いてテキストを交換することもできる。ビデオ通話サービスを用いようとするユーザは、相手を直接指定したり、ビデオ通話サービスを提供するサーバーにおいてランダムにまたは所定の方式によって相手を指定することによって、相手とビデオ通話サービスを用いることができる。
図１は、本発明の実施形態による電子装置が動作する環境を示すネットワーク構成図である。図１を参照すると、複数の電子装置１００、２００が動作する環境は、サーバー３００および複数の電子装置１００、２００を含むことができる。例えば、複数の電子装置１００、２００が動作する環境は、サーバー３００を含まなくてもよい。
複数の電子装置１００、２００それぞれは、サーバー３００を介して連結され得る。本発明の説明の便宜のために、図１に２つの電子装置が示されている。しかしながら、電子装置の個数は、２つに限定されない。複数の電子装置１００、２００は、それぞれデスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または携帯用電子機器のうちの1つとして具現され得る。複数の電子装置１００、２００は、プログラムまたはアプリケーションを実行することができる。例えば、複数の電子装置１００、２００のうち少なくとも２つの電子装置は、サーバー３００によりマッチングされ得る。そして、マッチングされた電子装置は、互いにビデオ通話を行うことができる。
複数の電子装置１００、２００それぞれは、通信網に連結され得る。複数の電子装置１００、２００それぞれは、通信網を介して外部の他の装置と互いに連結され得る。複数の電子装置１００、２００それぞれは、互いに連結された他の装置にデータを伝送したり、他の装置からデータを受信することができる。
複数の電子装置１００、２００それぞれと連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、３Ｇ、ＬＴＥ、またはＬＴＥ－Ａ等のような移動通信網を含むことができる。
通信網は、ワイファイ（Ｗｉ－Ｆｉ）、ＵＭＴＳ／ＧＰＲＳ、またはイーサネット（Ｅｔｈｅｒｎｅｔ）等のような有線または無線通信網を含むことができる。通信網は、磁気セキュア伝送（ＭＳＴ，Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（ＺｉｇＢｅｅ）、ジーウェイブ（Ｚ－Ｗａｖｅ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、低電力ブルートゥース（ＢＬＥ，Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、または赤外線通信（ＩＲ，ＩｎｆｒａＲｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）等のような近距離通信網を含むことができる。通信網は、ローカルエリアネットワーク（ＬＡＮ，Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ，Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはワイドエリアネットワーク（ＷＡＮ，Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含むことができる。
互いに連結された第１電子装置１００および第２電子装置２００は、互いにメッセージ、ファイル、音（例：音声）データ、映像、または動画等を交換することができる。第２電子装置２００は、第１電子装置１００と音声通話セッションまたはビデオ通話セッションを樹立することができる。ビデオ通話セッションは、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、またはＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を用いて樹立され得る。第１電子装置１００のユーザおよび第２電子装置２００のユーザは、互いに音声通話またはビデオ通話をすることができる。
ビデオ通話セッションは、第１電子装置１００および第２電子装置２００の間に直接樹立され得る。他の実施形態によれば、少なくとも1つ以上の他の装置を経由して第１電子装置１００および第２電子装置２００の間にビデオ通話セッションが樹立され得る。例えば、ビデオ通話セッションは、第１電子装置１００とサーバー３００との間に樹立されたセッション、およびサーバー３００と第２電子装置２００との間に樹立されたセッションを含むことができる。
サーバー３００は、複数の電子装置１００、２００が互いに通信を行うことができるように連結させることができる。サーバー３００は、複数の電子装置１００、２００それぞれからマッチ要請を受信することができる。マッチ要請に応じて、サーバー３００は、複数の電子装置１００、２００をマッチングすることができる。
以下で、発明の説明の便宜のために、電子装置および端末機は、同じ意味で使用され得る。そして、複数の電子装置１００、２００およびサーバー３００の通信方法は、図２～図８を参照して説明する。
図２は、本発明の実施形態による端末機の構成を示すブロック図である。
図２を参照すると、第１端末機１００は、入出力インターフェース１１０、ジャイロセンサー（Ｇｙｒｏ Ｓｅｎｓｏｒ）１２０、メモリ１３０、および通信インターフェース１４０を含むことができる。図１を参照すると、第２端末機２００は、第１端末機１００と類似または同一の構成で具現され得る。
入出力インターフェース１１０は、外部から信号を受信することができる。入出力インターフェース１１０は、第１端末機１００のユーザから信号を受信することができる。また、入出力インターフェース１１０は、外部装置から信号を受信することができる。
入出力インターフェース１１０は、カメラ１１１およびディスプレイ１１２を含むことができる。また、入出力インターフェース１１０は、マイク、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、またはその他入力装置等を含むことができる。入出力インターフェース１１０は、入出力インターフェース１１０に含まれたマイクを介して外部から音（例：音声）を受信することができる。
また、入出力インターフェース１１０は、入出力インターフェース１１０に含まれたカメラ１１１から撮影されたイメージまたは映像を受信したり、端末機１００のユーザからジェスチャーを受信することができる。いくつかの実施形態において、カメラ１１１は、第１端末機１００から撮影される映像を受信することができる。第１端末機１００から撮影される映像には、第１端末機１００のユーザの映像が含まれ得る。第１端末機１００から受信された映像は、第１端末機１００のユーザの映像に限定されず、第１端末機１００で撮影された多様な映像を含むことができる。
入出力インターフェース１１０は、ディスプレイ１１２を含むことができる。例えば、ディスプレイ１１２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、またはＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の平板表示装置を含むことができる。ディスプレイ１１２は、曲面ディスプレイまたはフレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）を含むことができる。ディスプレイ１１２は、タッチスクリーンを含むことができる。ディスプレイ１１２がタッチスクリーンを含む場合、ディスプレイ１１２は、第１端末機１００のユーザからタッチ入力を受信することができる。
ディスプレイ１１２は、データを表示することができる。または、ディスプレイ１１２は、プロセッサ１５０により行われた演算結果を表示することができる。または、ディスプレイ１１２は、メモリ１３０に保存されたデータを表示することができる。ディスプレイ１１２は、入出力インターフェース１１０を介して受信されるデータまたは通信インターフェース１４０により受信されたデータを表示することができる。
ディスプレイ１１２は、画面を表示することができる。ディスプレイ１１２は、ユーザインターフェースを表示することができる。ディスプレイ１１２は、ユーザからの入力に対する応答として他の画面を表示することができる。
ジャイロセンサー１２０は、ジャイロスコープ（Ｇｙｒｏｓｃｏｐｅ）を用いて物体の動きを感知するセンサー、慣性センサー、加速度センサーを含むことができる。ジャイロスコープには、機械式ジャイロスコープ、リングレーザージャイロスコープ、光ファイバージャイロスコープ等がある。ジャイロセンサー１２０は、第１端末機１００の動きを感知して、第１端末機１００の制御のための信号を生成することができる。
いくつかの実施形態において、ジャイロセンサー１２０で臨界角速度より速く変わる角速度が感知される場合、ジャイロセンサー１２０は、特定イベントを生成することができる。より具体的に、ジャイロセンサー１２０で任意の方向に向かいつつ臨界角速度より速く変わる角速度が感知される場合、ジャイロセンサー１２０は、特定イベントを生成することができる。他の実施形態において、プロセッサ１５０は、ジャイロセンサー１２０を用いて臨界角度を超過する角度で第１端末機１００が傾く場合、特定イベントを生成（または検出）することができる。さらに他の実施形態において、プロセッサ１５０は、前記ジャイロセンサー１２０を用いて第１端末機１００が臨界角度を超過する角度で臨界角速度より速く傾く場合、特定イベントを生成（または検出）することができる。
メモリ１３０は、データを保存することができる。メモリ１３０は、入出力インターフェース１１０から受信された音データ、イメージデータまたはユーザのプロフィール情報を保存することができる。そして、メモリ１３０は、プロセッサ１５０により行われた演算結果を保存することができる。例えば、メモリ１３０は、プロセッサ１５０によりエンコードされた音を保存することができる。メモリ１３０は、通信インターフェース１４０を介して外部に出力するデータを保存したり、通信インターフェース１４０を介して外部から受信されたデータを保存することができる。
メモリ１３０は、ソフトウェアまたはプログラムを保存することができる。例えば、メモリ１３０は、アプリケーション、アプリケーションプログラミングインターフェース（ＡＰＩ）等のようなプログラムおよび多様な種類のデータを保存することができる。メモリ１３０は、プロセッサ１５０により実行可能な命令語を保存することができる。
メモリ１３０は、揮発性メモリまたは非揮発性メモリのうち少なくとも1つを含むことができる。メモリ１３０は、例えば、フラッシュ（ｆｌａｓｈ）メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ハードディスクドライブ（ＨＤＤ，Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、またはレジスター（ｒｅｇｉｓｔｅｒ）のうち少なくとも1つを含むことができる。メモリ１３０は、例えば、ファイルシステム、データベース、またはエンベデッドデータベース等を含むことができる。
通信インターフェース１４０は、端末機１００の外部にデータを出力したり外部からデータを受信することができる。通信インターフェース１４０は、サーバー４００または外部装置にデータを出力することができる。通信インターフェース１４０は、サーバー４００および外部装置からデータを受信することができる。通信インターフェース１４０は、プロセッサ１５０により行われた演算結果を外部に出力することができる。
いくつかの実施形態において、第１端末機１００のプロセッサ１５０でビデオ通話セッションを提供するアプリケーションが実行される場合、通信インターフェース１４０は、第２端末機２００から映像または音を受信することができる。
また、第１端末機１００のプロセッサ１５０でビデオ通話セッションを提供するアプリケーションが実行される場合、通信インターフェース１４０は、第１端末機１００のユーザから撮影された映像または第１端末機１００のユーザの音声のような映像または音を第２端末機２００に伝送することができる。
通信インターフェース１４０は、例えば、３Ｇモジュール、ＬＴＥモジュール、ＬＴＥ－Ａモジュール、Ｗｉ－Ｆｉモジュール、ワイギグ（ＷｉＧｉｇ）モジュール、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）モジュール、またはＬＡＮカード等のような遠距離用ネットワークインターフェースを含むことができる。また、通信インターフェース１４０は、磁気セキュア伝送（ＭＳＴ）モジュール、ブルートゥースモジュール、ＮＦＣモジュール、ＲＦＩＤモジュール、ジグビー（ＺｉｇＢｅｅ）モジュール、Ｚ－Ｗａｖｅモジュール、または赤外線モジュール等のような近距離用ネットワークインターフェースを含むことができる。また、通信インターフェース１４０は、その他ネットワークインターフェースを含むことができる。
プロセッサ１５０またはプロセッサ１５０に含まれた構成要素それぞれは、ソフトウェア（ｓｏｆｔｗａｒｅ）またはハードウェア（ｈａｒｄｗａｒｅ）の形態で具現され得る。例示的に、ソフトウェアは、機械コード、ファームウェアコード（ｆｉｒｍｗａｒｅ ｃｏｄｅ）、エンベデッドコード（ｅｍｂｅｄｄｅｄ ｃｏｄｅ）、およびアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）等のようなプログラム実行命令語にて具現され得る。ハードウェアは、電気電子回路、プロセッサ、コンピュータ、圧力センサー、慣性センサー、ＭＥＭＳ（ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）、受動素子、またはそれらの組合せでありうる。
プロセッサ１５０は、端末機１００の動作を制御することができる。プロセッサ１５０は、端末機１００に含まれたそれぞれの構成要素と互いに連結され得、端末機１００に含まれたそれぞれの構成要素の動作を制御することができる。プロセッサ１５０は、入出力インターフェース１１０により受信された信号に対する応答として、端末機１００の動作を制御することができる。
いくつかの実施形態において、第１端末機１００のプロセッサ１５０でビデオ通話セッションを提供するアプリケーションが実行される場合、プロセッサ１５０は、ビデオ通話中に特定イベントの発生有無を感知することができる。
いくつかの実施形態において、プロセッサ１５０は、ジャイロセンサー１２０から特定イベントを受信することができる。他の実施形態として、プロセッサ１５０は、カメラ１１１を介して受信される第１映像で特定イベントを感知することができる。例えば、第１映像で第１ユーザの顔が基準時間以内に消える場合、特定イベントとして感知することができる。
特定イベントが受信される場合、プロセッサ１５０は、入出力インターフェース１１０を介して受信される第１端末機１００のユーザの映像（例えば：第１映像および／または第１音）を認識することができる。プロセッサ１５０は、第１端末機１００のユーザの映像（例えば：第１映像および／または第１音）を検閲することができる。
いくつかの実施形態において、プロセッサ１５０は、準備された学習モデルを用いて特定イベントが発生した後に受信される第１端末機１００のユーザの映像を検閲することができる。他の実施形態において、プロセッサ１５０は、準備された学習モデルを用いて第１端末機１００のユーザの映像を構成する1つのフレームを無作為に選択して検閲することができる。
例えば、プロセッサ１５０は、特定イベントが検出されていない状態では、指定された時間間隔で（例えば、２秒ごとに）ユーザーの映像を検閲して、ユーザーの映像に不適切な要素が含まれているか否かをモニタリングすることができる。例えば、プロセッサ１５０は、ジャイロセンサー１２０またはカメラ１１１を用いて特定イベントの検出可否を周期的にまたは連続的に確認することができる。プロセッサ１５０は、特定イベントが検出されると、指定されたモニタリング周期に到来しなくても、即時にユーザーの画像（または音）に不適切な要素の包含有無を検閲することができる。
言い換えれば、一実施形態によるプロセッサ１５０は、第１周期毎にユーザーの映像（例：第１映像および／または第１音）に不適切な要素が含まれているかをモニタリングし、第２周期毎に第１端末機１００で特定イベントが検出されるかを確認することができる。この際、第２周期は、第１周期より短くてもよく、連続的な場合を含むこともできる。プロセッサ１５０は、第２周期毎に特定イベントの検出可否を確認し、特定イベントが検出されると、第１サイクルに至る前であっても、ユーザーの映像に不適切な要素が含まれているか否かをモニタリングすることができる。このような方式で、プロセッサ１５０は、第１周期毎にユーザーの映像をモニタリングし、モニタリングされていないユーザーの映像の残りの部分に不適切な要素が含まれた場合にも、これを欠落しないように、特定イベントの検出を通じて間接的にモニタリングすることができる。
図３は、本発明の実施形態による端末機の傾きを示す図である。
図２および図３を参照すると、ビデオ通話セッション中に第１端末機１００が任意の方向に傾くことができる。いくつかの実施形態において、任意の方向は、第１端末機１００のディスプレイ１１２が地面に向かって傾く方向を意味し得る。
いくつかの実施形態において、第１端末機１００が任意の方向に向かって臨界角速度を超過する角速度で傾く場合、第１端末機１００のジャイロセンサー１２０は、特定イベントを生成することができる。
いくつかの実施形態において、第１端末機１００が任意の方向に向かって臨界角度を超過して傾く場合、第１端末機１００のジャイロセンサー１２０は、特定イベントを生成することができる。
図４は、本発明の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
第１端末機１００がビデオ通話セッションを提供するアプリケーションを介して第２端末機２００とビデオ通話セッションが樹立され得る。第１端末機１００および第２端末機２００の間にビデオ通話セッションが樹立されると、第１端末機１００は、第２端末機２００とビデオ通話を行うことができる。
ビデオ通話セッションが樹立されると、第１端末機１００のディスプレイ１１２には、カメラ１１１を介して獲得された第１ユーザの映像１１を表示し、通信インターフェース１４０を介して受信された第２ユーザの映像２１を表示することができる。例えば、第１ユーザの映像１１は、第１ユーザの顔を含む上半身に対する映像でありうる。そして、第２ユーザの映像２１は、第２ユーザの顔を含む上半身に対する映像でありうる。
いくつかの実施形態において、図３を参照して説明したように、ビデオ通話セッション中に第１端末機１００が任意の方向に傾くことができる。いくつかの実施形態において、任意の方向は、第１端末機１００のディスプレイ１１２が地面に向かって傾く方向を意味し得る。
いくつかの実施形態において、第１端末機１００が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、および／または任意の方向に向かって臨界角度を超過して傾く場合、第１端末機１００のジャイロセンサー１２０は、このような傾きを感知することができる。
第１端末機１００が任意の方向に傾くと、カメラ１１１には、第１ユーザの顔を含む上半身に対応する映像１１の代わりに、第１ユーザの下半身に対応する映像１２が入力され得る。したがって、ディスプレイ１１２には、第１ユーザの下半身に対応する映像１２が表示され得る。
図５は、本発明の他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
いくつかの実施形態において、第１端末機１００が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、任意の方向に向かって臨界角度を超過して傾く場合、第１端末機１００のジャイロセンサー１２０は、このような傾きを感知することができる。
第１端末機１００が任意の方向に傾くと、ディスプレイ１１２で第１ユーザの上半身に対応する映像１１が表示されず、第１ユーザの周辺映像１３が表示され得る。いくつかの実施形態において、第１ユーザの周辺映像１３は、第１ユーザの下半身に対応する映像１２も含むことができる。
他の実施形態において、第１ユーザの上半身に対応する映像１１が基準時間以内にカメラ１１１を介して受信されない場合、第１端末機１００のプロセッサ１５０は、特定イベントが発生したものと判断することができる。このように、第１端末機１００のプロセッサ１５０は、カメラ１１１を介して獲得する第１映像に所定類型の客体（例：顔、上半身など）が含まれているか否か、および含まれるかまたは含まれていない時間情報に基づいて、特定イベントの発生有無を判断することができる。
図４および図５を参照して説明したように、第１端末機１００が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、および／または任意の方向に向かって臨界角度を超過して傾く場合、第１端末機１００のジャイロセンサー１２０は、特定のイベントを感知することができる。または、指定された類型の客体（例：第１ユーザの上半身）に対応する映像１１が基準時間以内にカメラ１１１を介して受信されない場合、第１端末機１００のプロセッサ１５０は、特定イベントが発生したものと判断することができる。
特定イベントが発生すると、プロセッサ１５０は、カメラ１１１から受信される映像に不適切な要素が含まれているかを判断することができる。いくつかの実施形態において、不適切な要素を含む映像は、図４を通じて説明されたような第１ユーザの下半身に対応する映像１２を含むことができる。
一実施形態において、プロセッサ１５０は、イメージに不適切な要素が含まれているか否かに対する分類情報を用いて学習された分類モデルを準備することができる。プロセッサ１５０は、分類モデルを用いて特定イベントが発生した後にカメラ１１１に受信される映像が不適切な要素を含むか否かを予測することができる。例えば、前記分類モデルは、特定イベントの感知に関連した要素（例：第１端末機の傾き関連角速度および／または角度、第１映像に特定類型の客体の包含有無）と、前記不適切な要素の相関関係に基づいて学習された学習モデルを含むことができる。
他の実施形態において、特定イベントが発生すると、プロセッサ１５０は、第１音（例:ユーザの音声）に不適切な要素が含まれているかを判断することができる。不適切な要素を含む音（例:音声）は、悪口、脅迫性（ｉｎｔｉｍｉｄａｔｏｒｙ）発言、嫌悪性発言、反社会的発言、反人類的発言、性的な発言、犯罪性（ｃｒｉｍｉｎａｌｉｔｙ）発言または侮辱的な発言のうち少なくとも1つに対応することができる。
特定イベントが発生し、プロセッサ１５０が映像または音が不適切な要素を含んでいるものと判断すると、第１ユーザの映像および音のうち少なくとも1つの伝送を中止することができる。
図６は、本発明のさらに他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
第２端末機２００がビデオ通話サービスを提供するアプリケーションを介して第１端末機１００とビデオ通話セッションが樹立され得る。第１端末機１００および第２端末機２００の間にビデオ通話セッションが樹立されると、第２端末機２００は、第１端末機１００とビデオ通話を行うことができる。
ビデオ通話セッションが樹立されると、第２端末機１００のディスプレイ２１２には、第２ユーザの映像２１を表示し、第２端末機２００から受信された第１ユーザの映像１１を表示することができる。例えば、第１ユーザの映像１１は、第１ユーザの顔を含む上半身に対する映像でありうる。そして、第２ユーザの映像２１は、第２ユーザの顔を含む上半身に対する映像でありうる。
図４および図５を参照すると、第１端末機１００で特定イベントが感知される場合、 第１端末機１００は、第２端末機２００に映像および／または音の伝送を中断することができ、第２端末機２００は、第１端末機１００からの映像および／または音の受信が中断され得る。第１端末機１００から映像および音の受信が中断されると、第２端末機２００のディスプレイ２１２は、代替映像１３を表示することができる。
いくつかの実施形態において、代替映像１３は、単色で処理された映像でありうる。または、代替映像１３は、第１端末機１００から受信された映像にモザイク効果、背景挿入、またはブラー処理を活用して変調処理された映像でありうる。
図７は、本発明の実施形態による端末機の動作方法を示すフローチャートである。
Ｓ１１０段階で、第１端末機１００は、第２端末機とビデオ通話セッションを樹立することができる。第１端末機１００がビデオ通話セッションを提供するアプリケーションを介して第２端末機２００とビデオ通話セッションが樹立され得る。第１端末機１００および第２端末機２００の間にビデオ通話セッションが樹立されると、第１端末機１００は、第２端末機２００とビデオ通話を行うことができる。
Ｓ１２０段階で、第１端末機１００は、ビデオ通話セッション中に特定イベントを感知することができる。第１端末機１００が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、任意の方向に向かって臨界角度を超過して傾く場合、ジャイロセンサー１２０は、このような変化を特定イベントと感知することができる。
または、特定類型の客体（例：第１ユーザの上半身）に対応する映像１１が基準時間以内にカメラ１１１を介して受信されない場合、第１端末機１００のプロセッサ１５０は、特定イベントが発生したものと判断することができる。
Ｓ１３０段階で、第１端末機１００のプロセッサ１５０は、特定イベントが発生した後にカメラ１１１を介してリアルタイムで受信される映像または音に不適切な要素が含まれているかを判断することができる。
いくつかの実施形態において、プロセッサ１５０は、特定イメージ(例:映像および/または音)に不適切な要素が含まれているか否かに関する分類情報を用いて学習された分類モデル(例:機械学習モデル)を準備することができる。プロセッサ１５０は、前記イメージに不適切な要素が含まれているかに関連した分類情報に基づいて学習された分類モデルを用いて特定イベントが発生した後にカメラ１１１を介して獲得された映像が不適切な要素を含むか否かを予測することができる。
第１端末機１００のプロセッサ１５０は、特定イベントが発生した後にカメラ１１１に受信される映像が不適切な要素を含むか否かを予測するために、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ，ＲＢＭ）、ディープビリーフネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ，ＤＢＮ）、またはディープキューネットワーク（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋｓ）のうち少なくとも1つの技術による学習モデルを活用することができる。
他の実施形態によると、分類モデルは、特定イベントの検出に関連したセンシング値（例えば、第１端末機１００の傾きに関連した角速度および／または角度、第１映像に指定された客体（例：第１ユーザーの上半身）の包含有無など）とイメージに不適切な要素が含まれるものの間の相関関係に基づいて学習された分類モデルを含むことができる。
例えば、プロセッサ１５０は、前記分類モデルを用いて、特定イベントを検出するための基準を設定したり、第１端末機１００でカメラ１１１を介して獲得した映像（および／または音）に不適切な要素が含まれている否かを判断することができる。
他の例を挙げると、プロセッサ１５０は、特定イベントが検出されると、前記分類モデルを用いて第１端末機１００でカメラ１１１を介して獲得した映像（および／または音）に不適切な要素が含まれているか否かを判断する時点を決定し、判断された時点に対応する映像（および／または音）に不適切な要素が含まれているかを判断することができる。例えば、プロセッサ１５０は、分類モデルに基づいて特定イベントが発生した後、所定時間（例;０．５秒）以内に獲得した映像（および／または音）に不適切な要素が含まれる可能性が高いと判断することができ、これにより、特定イベントの発生後に、指定された時間の間に生成される映像（及び／または音）に対しては、より頻繁な周期で（または連続的に）不適切な要素の包含有無を確認することができる。
Ｓ１４０段階で、第１端末機１００のプロセッサ１５０は、判断結果によって、特定イベントが発生した後、カメラ１１１を介して受信される映像または音を第２端末機２００に伝送することを中止することができる。
例えば、特定イベントが発生した後、カメラ１１１を介して受信される映像または音に不適切な要素が含まれたものと判断される場合、プロセッサ１５０は、映像または音を第２端末機２００に伝送することを中止することができる。または、特定イベントが発生した後、カメラ１１１を介して受信される映像または音に不適切な要素が含まれていないものと判断される場合、プロセッサ１５０は、映像または音を第２端末機２００に伝送することを維持することができる。
すなわち、第１端末機１００のプロセッサ１５０は、特定イベントが発生する前にカメラ１１１を介して受信される映像または音に不適切な要素が含まれているかを判断するのではなく、特定イベントが発生した後にカメラ１１１を介して受信される映像または音に不適切な要素が含まれているかを判断することができる。そして、判断結果によって、プロセッサ１５０は、特定イベントが発生した後にカメラ１１１を介して受信される映像または音を伝送するか否かを判断することができる。
図８は、本発明の他の実施形態による端末機の動作方法を示すフローチャートである。
Ｓ２１０段階で、第１端末機１００のプロセッサ１５０は、映像または音の伝送を中止した後にカメラ１１１に受信される映像または音をモニタリングすることができる。
いくつかの実施形態において、プロセッサ１５０は、映像または音の伝送を中止した後に、映像または音の伝送を中止した後にカメラ１１１に受信される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングすることができる。
または、映像または音の伝送を中止した後に、新しい特定のイベントが発生すると、プロセッサ１５０は、カメラ１１１に受信される映像または音に不適切な要素が含まれているかを確認することができる。
Ｓ２２０段階で、第１端末機１００のプロセッサ１５０は、モニタリング結果によって第２端末機２００への映像伝送を再開することができる。
いくつかの実施形態において、プロセッサ１５０は、映像または音の伝送を中止した後に、カメラ１１１に受信される映像または音に不適切な要素が含まれていないと判断する場合、第２端末機２００への映像伝送を再開することができる。
反面、プロセッサ１５０は、映像または音の伝送を中止した後に、カメラ１１１に受信される映像または音に不適切な要素が含まれていると判断する場合、第２端末機２００への映像伝送を再開しなくてもよい。また、プロセッサ１５０は、第２端末機２００とのビデオ通話セッションを中断することができる。
図１～図８を参照して説明したように、本発明の実施形態による端末機は、ビデオ通話セッション中に不適切な映像または音の露出にさらされるのを防止することができる。
本発明の実施形態による端末機は、ビデオ通話セッション中にユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止することができる。
本発明の実施形態による端末機は、ユーザ間の健全なビデオ通話を誘導することができる。
以上で説明された実施形態は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能な媒体は、コンピュータによりアクセスされ得る任意の可用媒体であり得、揮発性および非揮発性媒体、分離型および非分離型媒体を全部含むことができる。
また、コンピュータ読み取り可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他データのような情報の保存のための任意の方法または技術で具現された揮発性および非揮発性、分離型および非分離型媒体を全部含むことができる。通信媒体は、典型的にコンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他データ、またはその他出力メカニズムを含み、任意の情報伝達媒体を含むことができる。
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることを理解することができる。したがって、以上で記述した実施形態は、すべての面において例示的なものであり、限定的でないものと理解しなければならない。

Claims (11)

  1. 第１端末機および第２端末機の間にビデオ通話セッションを樹立する段階と；
    第１ユーザに対応する前記第１端末機から獲得した第１映像および第１音のうちの少なくとも1つを前記第２端末機に伝送する段階と；
    第２ユーザに対応する前記第２端末機で獲得された第２映像および第２音のうちの少なくとも1つを前記第１端末機で受信する段階と；
    前記ビデオ通話セッション中に前記第１端末機が特定イベントを検出する段階であって、前記特定イベントは、
    前記第１端末機が任意の方向に臨界角速度を超過する角速度で傾くイベント、
    前記第１端末機で獲得する前記第１映像において臨界速度を超過する速度で前記第１ユーザの顔が消えるイベント、及び、
    前記第１端末機が任意の方向に臨界角度を超過して傾くイベント、
    のうちの少なくとも1つを含む、特定イベントを検出する段階と；
    前記特定イベントの検出に対応して前記第１端末機で、前記特定イベントが検出された後に獲得される前記第１映像または前記第１音に不適切な要素が含まれているかを、前記不適切な要素が特定映像又は音に含まれているか否かについての分類情報を学習した分類モデルを用いて、判断する段階と；
    前記判断結果によって、前記第１端末機で前記第１映像または前記第１音の伝送を中止する段階と；を含むビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
  2. 前記第１端末機が前記第１映像または前記第1音の伝送を中止する場合、
    第２端末機で前記第１映像の代わりに代替映像が表示される段階をさらに含む、請求項１に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
  3. 前記第１端末機が前記第１映像または前記第１音の伝送を中止した後に前記第１端末機で獲得される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングする段階と；
    前記モニタリングの結果、前記映像または音に不適切な要素が含まれていない場合、前記第１端末機で獲得される映像または音の伝送を再開する段階と；をさらに含む、請求項１に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
  4. 前記特定イベントは、第１特定イベントであり、
    前記第１端末機が前記第１映像または前記第１音の伝送を中止した後に前記第１端末機が第２特定イベントを検出する段階と；
    前記第２特定イベントの検出に対応して前記第１端末機で獲得される映像または音に不適切な要素が含まれているかを判断する段階と；
    前記第２特定イベントが検出された後に前記第１端末機で獲得される映像または音に前記不適切な要素が含まれていない場合、前記第１端末機で生成される映像または音の伝送を再開する段階と；をさらに含む、請求項１に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
  5. 請求項１～４のいずれか１項に記載のアプリケーションに対するプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  6. 第１ユーザに関連した第１映像および第１音のうちの少なくとも1つを受信する入出力インターフェースと；
    ビデオ通話セッションを介して、前記第１映像および前記第１音のうちの少なくとも1つを相手の端末機に伝送し、前記相手の端末機により獲得される第２映像または第２音を受信する通信インターフェースと；
    前記第１映像および前記第２映像を表示するディスプレイと；
    前記ビデオ通話セッション中に特定イベントの検出し、前記特定イベントに対応して前記第１映像または前記第１音に不適切な要素が含まれているかを判断し、前記判断結果によって、前記第１映像または前記第１音の伝送を中止するプロセッサと；を含む端末機であって、
    特定イベントを検出することは、
    前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機が、任意の方向に臨界角速度を超過する角速度で傾くか否かを検出すること、
    前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機によって獲得される前記第１映像において臨界速度を超過する速度で前記第１ユーザの顔が消えたか否かを検出すること、及び
    前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機が、任意の方向に臨界角度を超過して傾いているか否かを検出すること、
    の少なくとも１つを含み、
    不適切な要素を判断することは、前記特定イベントが検出された後に獲得される前記第１映像または前記第１音に不適切な要素が含まれているかを、前記不適切な要素が特定映像又は音に含まれているか否かについての分類情報を学習した分類モデルを用いて、判断することを含む、
    端末機。
  7. 前記プロセッサは、
    前記第１映像または前記第１音の伝送を中止した後に受信される映像または音に前記不適切な要素が含まれているかを所定の時間間隔でモニタリングし、
    前記モニタリングの結果、前記不適切な要素が発見されない場合、前記映像または前記音の伝送を再開する、請求項６に記載の端末機。
  8. 前記特定イベントは、第１特定イベントであり、
    前記プロセッサは、
    前記第１映像または前記第１音の伝送を中止した後に第２特定イベントを検出し、
    前記第２特定イベントが検出されると、前記第２特定イベントが検出された後に受信される映像または音に不適切な要素が含まれているかを判断し、
    前記不適切な要素が含まれていない場合、前記映像または前記音の伝送を再開する、請求項６に記載の端末機。
  9. 前記プロセッサは、
    前記特定イベントが検出される前に、第１周期毎に前記第１映像または前記第１音に不適切な要素が含まれているかを判断し、および
    前記特定イベントが検出されると、前記特定イベントの検出に対応して前記第１映像または前記第１音に不適切な要素が含まれているかを判断する、請求項６に記載の端末機。
  10. 前記プロセッサは、
    前記特定イベントが検出されると、指定された時間の間に、第２周期毎に前記第１映像または前記第１音に不適切な要素が含まれているかを判断する、請求項９に記載の端末機。
  11. 前記不適切な要素が含まれているかを判断する段階は、
    前記特定イベントを検出する前に、第１周期毎に前記第１映像または前記第１音に前記不適切な要素が含まれているかを判断する段階；および
    前記特定イベントを検出すると、第２周期毎に前記第１映像または前記第１音に前記不適切な要素が含まれているかを判断する段階を含む、請求項１に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
JP2021013320A 2020-01-31 2021-01-29 端末機およびその動作方法 Active JP7145995B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200012233A KR102293422B1 (ko) 2020-01-31 2020-01-31 단말기 및 그것의 동작 방법
KR10-2020-0012233 2020-01-31

Publications (2)

Publication Number Publication Date
JP2021125880A JP2021125880A (ja) 2021-08-30
JP7145995B2 true JP7145995B2 (ja) 2022-10-03

Family

ID=74418207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021013320A Active JP7145995B2 (ja) 2020-01-31 2021-01-29 端末機およびその動作方法

Country Status (4)

Country Link
US (2) US11394922B2 (ja)
EP (1) EP3860134A1 (ja)
JP (1) JP7145995B2 (ja)
KR (1) KR102293422B1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications
EP4333446A1 (en) * 2022-08-30 2024-03-06 Nokia Technologies Oy Control of user device based on detecting an event of interest

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082694A (ja) 2009-10-05 2011-04-21 Sharp Corp 通信会議システム及び通信装置
JP2011205243A (ja) 2010-03-24 2011-10-13 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2012054897A (ja) 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法
JP2012146209A (ja) 2011-01-13 2012-08-02 Nikon Corp 電子機器および電子機器の制御プログラム
JP2013531923A (ja) 2010-05-17 2013-08-08 アマゾン テクノロジーズ インコーポレイテッド 選択的コンテンツ提示エンジン
JP2016122975A (ja) 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2018194243A1 (en) 2017-04-17 2018-10-25 Hyperconnect, Inc. Video communication device, video communication method, and video communication mediating method
WO2018221824A1 (en) 2017-05-27 2018-12-06 Hyperconnect, Inc. Video communication device and video communication method
JP2020500488A (ja) 2016-10-10 2020-01-09 ハイパーコネクト インコーポレイテッド 映像表示装置及び映像表示方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｄｉｓｐｌａｙｉｎｇ ｉｍａｇｅｓ）
JP2020010158A (ja) 2018-07-06 2020-01-16 本田技研工業株式会社 周辺画像の提供方法、及び通信端末用プログラム

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690279A (ja) 1992-09-08 1994-03-29 Fujitsu General Ltd イタズラ電話撃退装置
JPH09200714A (ja) 1996-01-17 1997-07-31 Casio Comput Co Ltd テレビ電話付き画像処理装置
JP3642716B2 (ja) 2000-04-19 2005-04-27 三菱電機株式会社 テレビ電話装置及び通話方法
KR20010000426A (ko) 2000-09-28 2001-01-05 김용환 지능형 영상 인터페이스 방법
JP3532151B2 (ja) 2000-11-29 2004-05-31 傳一郎 片山 素炭製造方法及び素炭
US20030028875A1 (en) 2001-05-02 2003-02-06 Koninklijke Philips Electronics N.V. Television access control system
JP3838506B2 (ja) 2001-11-13 2006-10-25 松下電器産業株式会社 画像を用いる通信方法及びその装置
EP1311124A1 (en) 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
US20030126267A1 (en) 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method and apparatus for preventing access to inappropriate content over a network based on audio or visual content
US7360234B2 (en) 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program
US8245252B2 (en) 2002-09-10 2012-08-14 Caption Tv, Inc. System, method, and computer program product for selective replacement of objectionable program content with less-objectionable content
KR100927271B1 (ko) 2003-01-13 2009-11-18 엘지전자 주식회사 디스플레이 장치의 시청 제한 방법
US7321384B1 (en) 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP2006270380A (ja) 2005-03-23 2006-10-05 Victor Co Of Japan Ltd 画像情報送信装置
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US20100226261A1 (en) 2005-09-16 2010-09-09 Eyeball Networks Inc. Method and system to prevent spam over internet telephony
US20080012935A1 (en) 2005-11-22 2008-01-17 Gateway Inc. Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones
US20070195158A1 (en) 2006-02-23 2007-08-23 Kies Jonathan K Apparatus and methods for managing video calls on a wireless device
US7911513B2 (en) 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
GB0709574D0 (en) 2007-05-18 2007-06-27 Aurix Ltd Speech Screening
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
KR100844334B1 (ko) 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법
KR100882476B1 (ko) 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치
US8165416B2 (en) 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US20090041311A1 (en) 2007-08-09 2009-02-12 Jon Hundley Facial recognition based content blocking system
JP2008159034A (ja) 2007-11-07 2008-07-10 Fujitsu Ltd サーバおよび音声信号収集配信方法
US20090288131A1 (en) 2008-05-13 2009-11-19 Porto Technology, Llc Providing advance content alerts to a mobile device during playback of a media item
US8223187B2 (en) 2008-07-17 2012-07-17 Cisco Technology, Inc. Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream
KR101450580B1 (ko) 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
US8441356B1 (en) 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
KR101639392B1 (ko) * 2009-08-20 2016-07-22 엘지전자 주식회사 이동 단말기
KR101189053B1 (ko) 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN101668157B (zh) 2009-09-24 2011-09-21 中兴通讯股份有限公司 用于视频通话中隐私保护的方法、应用服务器及系统
KR101384317B1 (ko) 2009-12-21 2014-04-14 한국전자통신연구원 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법
US8626879B2 (en) 2009-12-22 2014-01-07 Sling Media, Inc. Systems and methods for establishing network connections using local mediation services
US8856165B1 (en) 2010-03-26 2014-10-07 Google Inc. Ranking of users who report abuse
JP5442547B2 (ja) 2010-07-08 2014-03-12 株式会社Ｎｔｔドコモ コンテンツ推薦装置及び方法
JP5835220B2 (ja) 2010-09-10 2015-12-24 日本電気株式会社 携帯端末、遠隔操作システム、携帯端末によるデータ送信制御方法、及びプログラム
US8526728B2 (en) 2010-12-21 2013-09-03 Microsoft Corporation Establishing clusters of user preferences for image enhancement
CN103238311A (zh) 2011-01-13 2013-08-07 株式会社尼康 电子设备及电子设备的控制程序
EP2693745A4 (en) 2011-03-30 2015-04-01 Fujitsu Ltd INFORMATION PROCESSING DEVICE COMPRISING IMAGE TRANSMISSION CONTROL FUNCTION
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
KR101237469B1 (ko) 2011-05-12 2013-02-26 재단법인 서울호서직업전문학교 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체
US8970653B2 (en) 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
NO334029B1 (no) 2011-09-30 2013-11-18 Cisco Tech Inc System og fremgangsmåte for etablering av videokonferansesesjon med justerbart filter for markering av tilstedeværelsesnivå i endepunkter
KR101394597B1 (ko) 2012-05-09 2014-05-27 김명훈 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9501702B2 (en) 2012-12-11 2016-11-22 Unify Gmbh & Co. Kg Method of processing video data, device, computer program product, and data construct
US20150070516A1 (en) 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US9154709B2 (en) 2012-12-21 2015-10-06 Google Inc. Recommending transformations for photography
KR101800617B1 (ko) 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
EP2782326B1 (en) 2013-03-20 2022-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing an image based on an image property and ambient environment information
US9230328B1 (en) 2013-06-28 2016-01-05 Google Inc. Providing image parameters
CN103413270A (zh) 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
JP6110503B2 (ja) 2013-09-24 2017-04-05 日立マクセル株式会社 テレビ通話装置
EP2887625A1 (en) 2013-12-19 2015-06-24 Alcatel Lucent Method for real-time reporting and prevention of call abuse
US9460340B2 (en) 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
CN104836977B (zh) 2014-02-10 2018-04-24 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统
EP3134873A1 (en) 2014-04-25 2017-03-01 Sony Corporation Processing digital photographs in response to external applications
US9451335B2 (en) 2014-04-29 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for augmenting media content
WO2015171934A1 (en) 2014-05-09 2015-11-12 Google Inc. Providing pre-edits for photos
US9462112B2 (en) 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US20150370907A1 (en) 2014-06-19 2015-12-24 BrightSky Labs, Inc. Systems and methods for intelligent filter application
US9531998B1 (en) 2015-07-02 2016-12-27 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US20160023116A1 (en) 2014-07-03 2016-01-28 Spitfire Technologies, Llc Electronically mediated reaction game
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9858470B2 (en) 2014-07-18 2018-01-02 Htc Corporation Method for performing a face tracking function and an electric device having the same
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US9282287B1 (en) 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
KR20160051390A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9503456B1 (en) 2015-01-22 2016-11-22 Google Inc. Video chat abuse detection based on external context
US9380264B1 (en) 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
US9569697B1 (en) 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
WO2016189350A1 (en) 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US20160350675A1 (en) 2015-06-01 2016-12-01 Facebook, Inc. Systems and methods to identify objectionable content
US10198667B2 (en) 2015-09-02 2019-02-05 Pocketguardian, Llc System and method of detecting offensive content sent or received on a portable electronic device
KR20170059201A (ko) * 2015-11-20 2017-05-30 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 출력 방법
KR101751620B1 (ko) 2015-12-15 2017-07-11 라인 가부시키가이샤 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템
KR20170082349A (ko) 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
BR102016007265B1 (pt) 2016-04-01 2022-11-16 Samsung Eletrônica da Amazônia Ltda. Método multimodal e em tempo real para filtragem de conteúdo sensível
US10104025B2 (en) 2016-05-23 2018-10-16 Oath Inc. Virtual chat rooms
US9848167B1 (en) 2016-06-21 2017-12-19 Amazon Technologies, Inc. Low bandwidth video
KR20180000255A (ko) 2016-06-22 2018-01-02 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
JP2017228224A (ja) 2016-06-24 2017-12-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US10349126B2 (en) 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video
US10754965B2 (en) 2017-03-08 2020-08-25 Blackberry Limited Data messaging with privacy tokens
KR102283972B1 (ko) 2017-07-14 2021-08-02 주식회사 하이퍼커넥트 통신 장치, 서버 및 동작 방법
KR102312861B1 (ko) 2017-08-09 2021-10-15 주식회사 하이퍼커넥트 통신 장치, 서버 및 통신 방법
JP2019047357A (ja) 2017-09-04 2019-03-22 キヤノン株式会社 撮像装置付き表示装置
KR101989842B1 (ko) * 2017-12-07 2019-06-17 주식회사 하이퍼커넥트 단말기 및 그것의 영상 처리 방법
KR102056806B1 (ko) * 2017-12-15 2019-12-18 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
KR102044242B1 (ko) 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
KR102079091B1 (ko) 2018-01-31 2020-02-19 주식회사 하이퍼커넥트 단말기 및 그것의 이미지 처리 방법
KR20190098518A (ko) 2018-02-14 2019-08-22 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
WO2019217251A1 (en) 2018-05-05 2019-11-14 Tangosquared Llc Novel decency filtration tools and their use in interfacing systems
US10440324B1 (en) 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
KR102266888B1 (ko) 2018-12-31 2021-06-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말기 및 서버
US10810726B2 (en) 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US20200335089A1 (en) 2019-04-16 2020-10-22 International Business Machines Corporation Protecting chat with artificial intelligence
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
WO2020250082A1 (ja) 2019-06-14 2020-12-17 株式会社半導体エネルギー研究所 ユーザーの感情に応じた動作を実行する情報処理装置
US11330313B2 (en) 2019-08-02 2022-05-10 Dell Products L.P. Crowd rating media content based on micro-expressions of viewers
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102287704B1 (ko) 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082694A (ja) 2009-10-05 2011-04-21 Sharp Corp 通信会議システム及び通信装置
JP2011205243A (ja) 2010-03-24 2011-10-13 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2013531923A (ja) 2010-05-17 2013-08-08 アマゾン テクノロジーズ インコーポレイテッド 選択的コンテンツ提示エンジン
JP2012054897A (ja) 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法
JP2012146209A (ja) 2011-01-13 2012-08-02 Nikon Corp 電子機器および電子機器の制御プログラム
JP2016122975A (ja) 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2020500488A (ja) 2016-10-10 2020-01-09 ハイパーコネクト インコーポレイテッド 映像表示装置及び映像表示方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｄｉｓｐｌａｙｉｎｇ ｉｍａｇｅｓ）
WO2018194243A1 (en) 2017-04-17 2018-10-25 Hyperconnect, Inc. Video communication device, video communication method, and video communication mediating method
WO2018221824A1 (en) 2017-05-27 2018-12-06 Hyperconnect, Inc. Video communication device and video communication method
JP2020010158A (ja) 2018-07-06 2020-01-16 本田技研工業株式会社 周辺画像の提供方法、及び通信端末用プログラム

Also Published As

Publication number Publication date
KR102293422B1 (ko) 2021-08-26
US20220353464A1 (en) 2022-11-03
KR20210098265A (ko) 2021-08-10
US20210243407A1 (en) 2021-08-05
US11394922B2 (en) 2022-07-19
US11825236B2 (en) 2023-11-21
JP2021125880A (ja) 2021-08-30
EP3860134A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
JP7145995B2 (ja) 端末機およびその動作方法
US10554807B2 (en) Mobile terminal and method of operating the same
WO2020125660A1 (zh) 信息推荐方法、装置、设备及存储介质
JP6756328B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10542118B2 (en) Facilitating dynamic filtering and local and/or remote processing of data based on privacy policies and/or user preferences
US11985132B2 (en) System and method for resource access authentication
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
US9529439B2 (en) Multi device pairing and sharing via gestures
KR101967658B1 (ko) 영상 통화 장치 및 영상 통화 방법
US20200260245A1 (en) Method for device to control another device and the device
KR102275653B1 (ko) 웨어러블 디바이스 및 컨텐츠 전송 방법.
KR102464984B1 (ko) 사용자를 인증하는 방법 및 시스템
CN104137118A (zh) 视频中的增强的脸部识别
EP3732871B1 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
WO2017219497A1 (zh) 消息生成方法及装置
WO2023049648A1 (en) Data protection for computing device
KR102399594B1 (ko) 디스플레이 장치 및 그 동작 방법
CN113289330B (zh) 渲染方法和装置
KR20190050086A (ko) 통신 장치, 서버 및 그것의 통신 방법
CN112231666A (zh) 违规帐号的处理方法、装置、终端、服务器及存储介质
US20200327451A1 (en) Electronic apparatus and server for refining artificial intelligence model, and method of refining artificial intelligence model
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
US9900489B2 (en) System and method of providing device use information
US20210014457A1 (en) Information processing device, information processing method, and program
CN115577165A (zh) 内容的推送方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150