KR20190104104A - 영상 재생 방법 및 장치 - Google Patents

영상 재생 방법 및 장치 Download PDF

Info

Publication number
KR20190104104A
KR20190104104A KR1020190101419A KR20190101419A KR20190104104A KR 20190104104 A KR20190104104 A KR 20190104104A KR 1020190101419 A KR1020190101419 A KR 1020190101419A KR 20190101419 A KR20190101419 A KR 20190101419A KR 20190104104 A KR20190104104 A KR 20190104104A
Authority
KR
South Korea
Prior art keywords
information
terminal
area
vehicle
image
Prior art date
Application number
KR1020190101419A
Other languages
English (en)
Inventor
정준영
김현규
송기봉
이철희
정상경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190101419A priority Critical patent/KR20190104104A/ko
Priority to US16/557,953 priority patent/US20200007772A1/en
Publication of KR20190104104A publication Critical patent/KR20190104104A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/931—Regeneration of the television signal or of selected parts thereof for restoring the level of the reproduced signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

영상 재생 방법 및 장치가 개시된다. 영상 통화에서 영상 재생 방법은, 촬영 단말로부터 영상 정보를 수신하는 단계, 재생 단말과 관련된 제1 흔들림 정보를 획득하는 단계, 상기 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인하는 단계, 상기 수신한 영상 정보 및 상기 확인된 출력 영역을 이용하여 영상을 재생하는 단계를 포함할 수 있다. 본 발명의 영상 재생 장치는 인공지능(Artificial Intelligence) 모듈, 드론(Unmmaned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR) 장치, 5G서비스와 관련된 장치 등과 연계될 수 있다.

Description

영상 재생 방법 및 장치{IMAGE REPRODUCTION METHOD AND APPARATUS}
본 개시는 이동 가능한 객체 내에서 영상을 촬영할 때 객체의 이동과 관련된 정보를 기반으로 영상을 재생하는 기술에 관한 것이다. 본 개시는 이동 가능한 객체인 차량 내에서 영상 통화할 때 연산 장치가 차량의 주행 정보에 기반하여 송신 단말과 수신 단말의 흔들림을 반영하여 영상 재생하는 기술에 관한 것이다.
종래는 영상을 촬영하는 촬영 단말 자체의 흔들림만 반영되어 영상이 재생됨으로써 영상의 흔들림이 정확히 보정될 수 없는 문제가 있었다. 또한, 차량 내에서 영상 통화할 때 연속된 프레임 사이에서 이전 프레임과의 픽셀 차이에 기반하여 영상에 포함된 객체 중심으로 영상의 흔들림이 보정됨으로써 영상의 흔들림이 정확히 반영될 수 없는 문제가 있었다. 이와 같은 문제는 영상 촬영과 수신이 차량과 같은 움직이는 객체 안에서 이루어 질 때 보다 더 심각해질 수 있다. 따라서, 차량과 같은 움직이는 객체 안에서 단말의 흔들림을 고려하여 영상의 흔들림이 반영된 영상 재생할 수 있는 기술이 필요하다.
본 명세서의 개시된 실시 예들은 영상 통화할 때 차량 내에서 영상 통화할 때 차량의 주행 정보에 기반하여 촬영 단말과 재생 단말의 흔들림을 반영하여 영상 재생하는 기술에 관한 것이다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예 들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 실시 예에 따른, 재생 단말에서의 영상 재생 방법은 촬영 단말로부터 영상 정보를 수신하는 단계, 상기 재생 단말과 관련된 제1 흔들림 정보를 획득하는 단계, 상기 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인하는 단계, 상기 영상 정보 및 상기 출력 영역을 이용하여 영상을 재생하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른, 영상 재생 장치는 촬영 단말로부터 영상 정보를 수신하는 통신부, 재생 단말과 관련된 제1 흔들림 정보를 획득하고 상기 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인하고, 상기 영상 정보 및 상기 출력 영역을 이용하여 영상을 재생하는 프로세서를 포함할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 실시 예에 따르면 아래와 같은 효과가 하나 혹은 그 이상 있다.
첫째, 영상 통화할 때 촬영 단말과 재생 단말의 흔들림 벡터를 기반으로 도출된 흔들림 벡터를 반영하여 재생 단말에서 영상의 흔들림을 보정할 수 있는 효과가 있다.
둘째, 차량 내에서 영상 통화 시 주행 상황을 기반으로 영상의 흔들림을 보정할 수 있는 효과가 있다.
셋째, 촬영 단말의 통신 환경이나 주행 상황의 변경에 의해 일정 수준 이상의 흔들림이 예측되는 경우, 재생 단말은 관련 정보를 사전에 확인하여 영상의 흔들림을 준비할 수 있는 효과가 있다.
발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 AI 장치(100)를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 AI 서버(200)를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 AI 시스템(1)을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른, 영상 통화를 하는 촬영 단말과 재생 단말을 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 복수의 사람과 차량을 통해 영상 통화하는 것을 나타낸 도면이다.
도 6 본 발명의 일 실시 예에 따른, 촬영 단말에서 흔들림이 반영되기 전 영상과 흔들림이 반영된 후 영상을 나타낸다.
도 7은 본 발명의 일 실시 예에 따른, 촬영 단말에서 흔들림을 반영한 영상을 재생 단말로 전송하는 흐름도를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 재생 단말이 촬영 단말로부터 수신한 영상과 재생 단말의 흔들림이 반영된 영상을 나타낸다.
도 9는 본 발명의 일 실시 예에 따른, 재생 단말에서 흔들림을 반영하여 영상을 보정하는 흐름도를 나타낸 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 주행 정보 또는 통신 환경의 변화를 나타낸 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 재생 단말의 일정한 영역에 표시된 촬영 단말과 관련된 정보를 나타낸 도면이다.
도 12는 본 발명의 일 실시 예에 따른, 흔들림을 반영한 영상 재생 방법을 나타낸 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른, 영상 재생 장치의 블록 도를 나타낸 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에서 인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫수값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
또한, 본 명세서에서 자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
도 1은 본 발명의 일 실시 예에 따른 AI 장치(100)를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 AI 서버(200)를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 AI 시스템(1)을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
로봇(100a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(100a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(100a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(100a)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(100a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(100a)을 주행시킬 수 있다.
맵 데이터에는 로봇(100a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(100a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 영상 통화를 하는 촬영 단말과 재생 단말을 나타낸 도면이다.
촬영 단말(410)과 재생 단말(420)은 유/무선 통신을 이용하여 영상 통화할 수 있다. 여기서, 촬영 단말(410)과 재생 단말(420)은 통신이 수행되는 기기를 포함할 수 있다. 이때, 촬영 단말(410)과 재생 단말(420)은 양방향 통신을 하므로, 촬영 단말이 데이터를 전송하는 동시에 재생 단말로부터 데이터를 수신할 수 있고, 또는 반대로 재생 단말이 데이터를 수신하는 동시에 촬영 단말로 데이터를 전송할 수 있다. 예를 들면, 촬영 단말(410)과 재생 단말(420)은 모바일 폰, 셀룰러 폰, 스마트 폰, 퍼스널 컴퓨터, 태블릿 컴퓨터, 웨어러블 기기, 노트북, 넷북, 휴대 정보 단말기(personal digital assistant, PDA), 디지털 카메라, 퍼스널 멀티미디어 플레이어(personal multimedia player, PMP), 전자 북(E-book), 차량에 설치된 통신 기기 등을 포함할 수 있다. 구체적으로, 촬영 단말(410)이 송신자가 탑승한 차량에 설치된 통신 기기이고 재생 단말(420)이 수신자가 탑승한 차량에 설치된 통신 기기인 경우, 각각의 차량은 송신자와 수신자를 촬영하여 상대방 차량으로 관련 영상을 송신할 수 있고, 관련 영상을 수신한 각각의 차량은 일정한 영역에 영상을 디스플레이 할 수 있다. 이때, 촬영 단말(410)과 재생 단말(420)은 5G 통신, WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), WCDMA, 3GPP LTE(Long Term Evolution), 3GPP LTE-A(LTE Advanced) 등의 무선 통신 기술을 통해 영상 통화하거나, 또는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등의 근거리 통신을 통해 영상 통화할 수 있다.
각각의 차량에 탑승한 사용자들이 촬영 단말(410)과 재생 단말(420)을 이용하여 영상 통화할 때, 각각의 차량의 주행 상황에 따라 촬영 단말(410)과 재생 단말(420)의 흔들림이 발생될 수 있다. 예를 들면, 스마트 폰을 이용하여 영상 통화하는 경우, 차량의 급정거와 같은 주행 상황에 기초하여 촬영 단말(410)의 급격한 흔들림이 발생될 수 있다. 이때, 촬영 단말(410)의 급격한 흔들림에 의해 재생 단말(420)로 전송되는 영상에 송신자가 포함되지 않을 수 있다. 만약, 차량의 주행 정보에 기반하여 각각의 촬영 단말(410)과 재생 단말(420)의 흔들림이 측정 가능한 경우, 영상 통화할 때 촬영 단말(410)과 재생 단말(420) 간의 송수신되는 영상의 흔들림이 보정 될 수 있다.
실시 예에 따르면, 촬영 단말과 재생 단말의 흔들림이 모두 반영되어 영상의 흔들림이 보정될 수 있다. 이때, 촬영 단말과 재생 단말의 주행 정보를 기반으로 촬영 단말과 재생 단말의 흔들림이 측정되는 경우, 재생 단말은 촬영 단말의 측정된 흔들림을 반영하여 영상의 흔들림에 대해 보정할 수 있다.
본 명세서에서 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다. 단방향 통신이 아닌 양방향 통신을 수행하므로, 촬영 단말과 재생 단말은 그 역할이 서로 변경될 수 있다.
도 5는 본 발명의 일 실시 예에 따른, 복수의 사람과 차량을 통해 영상 통화하는 것을 나타낸 도면이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
송신 단말과 복수의 수신 단말이 영상 통화할 수 있다. 구체적으로, 1:1 영상 통화뿐만 아니라, 3명 이상의 사람이 참여하는 영상 통화 또한 본 발명의 권리범위에 포함될 수 있다. 도 5와 같이, 사용자는 차량 내에서 영상 통화하는 경우 다른 사용자(510, 520, 530)의 영상이 일정한 영역에 출력될 수 있다. 여기서, 일정한 영역은 영상이 표시될 수 있는 영역으로서, 예를 들면 차량의 대시 보드 또는 전면 유리에 포함되는 영역일 수 있다. 다른 사용자(510, 520, 530)의 영상이 전면 유리에 표시될 경우, 차량의 운전에 방해되지 않도록 표시될 수 있다.
이때, 다른 사용자(510, 520, 530)가 출력되는 일정한 영역은 영상 통화할 때 변화될 수 있다. 예를 들면, 사용자(510)가 말을 하는 경우, 사용자(510)가 말을 하는 동안 사용자(510)과 관련된 일정한 영역의 크기가 상대적으로 증가하거나 또는 미리 설정된 영역의 색/투명도가 변화될 수 있다. 따라서, 복수의 사용자 중에서 다른 사용자(520, 530)보다 말을 하는 사용자(510)가 보다 특징적으로 디스플레이에 표시될 수 있다. 또는, 일정한 영역은 사용자의 설정에 의해 변화될 수 있다. 예를 들면, 사용자가 다른 사용자(510, 520)과 달리, 다른 사용자(530)가 표시되는 영역을 왼쪽 유리창으로 변경할 수 있다.
도 6 본 발명의 일 실시 예에 따른, 촬영 단말에서 흔들림이 반영되기 전 영상과 흔들림이 반영된 후 영상을 나타낸다. 그림 a는 촬영 단말에서 흔들림이 반영되기 전 영상이고, 그림 b는 촬영 단말에서 흔들림이 반영된 후 영상을 나타낸다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
송신 단말에 의해 촬영된 영상은 마진 영역(610)과 송출 영역(620)을 포함할 수 있다. 송신 단말에 의한 흔들림이 반영될 때 마진 영역(610)과 송출 영역(620)이 조절되어, 마진 영역(630)과 송출 영역(640)과 같이 영역이 변경될 수 있다.
여기서, 송출 영역(640)은 차량 내부의 영상 정보 중에서 사용자의 얼굴이 위치하는 영역을 포함하고, 마진 영역(630)은 송출 영역(640)을 제외한 영역을 포함할 수 있다.
실시 예에서 촬영 단말과 관련된 연산장치는 촬영되는 영상에서 송출 영역을 확인할 수 있다. 일 예로 촬영되는 영상에서 전송이 필요한 영역을 식별하고 대응되는 영역을 송출 영역으로 확인할 수 있다. 일 예로 영상 통화의 경우 송출 영역을 사용자의 얼굴이 위치하는 영역을 포함할 수 있다. 또한 촬영되는 화면의 일정 부분을 송출 영역으로 결정할 수 있으며, 일 예로 화면의 중앙의 일정 부분을 송출 영역으로 결정할 수 있다. 이와 같은 송출 영역에 관한 정보는 촬영된 화면에서 송출 영역이 어떤 영역에 위치하는지에 대한 정보를 포함할 수 있다.
또한 실시 예에서 촬영 단말은 수신 단말에 촬영한 영상 정보, 송출 영역 정보, 마진 영역 정보 및 촬영 단말의 흔들림 정보 중 적어도 하나를 전송할 수 있다. 일 예로 촬영한 전체 영역에서 촬영 단말은 송출 영역 정보를 획득할 수 있다. 일 예로 송출 영역의 정보와 마진 영역 정보를 촬영 단말이 수신 단말에 전송할 수 있으나, 다른 예에서 송출 영역 정보를 촬영 단말이 수신 단말에 전송하고, 수신 단말은 송출 영역을 제외한 다른 영역을 마진 영역으로 확인할 수 있다.
또한 실시 예에서 촬영 단말은 영상정보 및 촬영 단말의 흔들림 정보 중 적어도 하나를 수신 단말에 전송할 수 있다. 이를 기반으로 수신 단말은 화면에 표시될 출력 영역 및 마진 영역을 확인하고, 촬영 단말의 흔들림 정보 및 수신 단말의 흔들림 정보 중 적어도 하나를 기반으로 출력 영역과 마진 영역을 조절하여 영상 정보를 디스플레이 할 수 있다. 실시 예에서 수신 단말에서 출력 영역을 확인하는 것을 촬영 단말에서 송출 영역을 확인되는 것과 유사하게 수행될 수 있다. 일 예로 수신된 영상 정보에서 사용자의 얼굴에 대응되는 영역을 송출 영역으로 결정할 수 있으며, 다른 예로 영상의 특정 부분을 송출 영역으로 결정할 수도 있다.
또한 실시 예에서 촬영 단말의 흔들림 정보는 촬영 단말이 차량과 관련되어 있을 경우 해당 차량의 주행 관련 정보를 포함할 수 있다. 일 예로 상기 차량이 주행하는 경로에 대한 정보를 미리 수신하여 차후 화면의 흔들림이 일정 기준 보다 큰 것으로 예상되는 경우 수신 단말의 연산장치는 이에 대응하여 표시되는 영상의 부분을 조절할 수 있다.
또한 실시 예에서 촬영 단말의 흔들림 정보 및 수신 단말의 흔들림 정보 중 적어도 하나를 기반으로 출력 영역이 결정될 수 있다. 일 예로 흔들림의 정도가 일정 이상일 경우 송출 영역을 보다 크게 설정할 수 있다. 이 경우 큰 흔들림이 예측될 경우 미리 보다 넓은 영역을 송출 영역으로 하여, 화상통화와 같은 경우 상대방의 얼굴이 송출 화면 내에 표시되도록 할 수 있다.
또한 실시 예에서 촬영 단말의 흔들림 정보에 따라 영상 정보에서 마진 영역과 송출 영역이 결정된 경우, 재생 단말은 재생 단말의 흔들림 정보를 추가적으로 반영하여 마진 영역과 송출 영역을 조정하여 마진 영역과 출력 영역을 결정할 수 있다. 이때 출력 영역이 디스플레이를 통해 표시되는 영역일 수 있고, 마진 영역은 출력 영역 이외의 영역일 수 있다. 여기서, 촬영 단말의 흔들림 정보인 흔들림 방향과 흔들림 크기를 포함하는 흔들림 벡터가 큰 경우, 흔들림 크기를 고려하여 송출 영역이 넓게 결정될 수 있다. 따라서, 재생 단말은 재생 단말의 흔들림 벡터를 반영하여, 넓게 결정된 송출 영역을 마진 영역과 출력 영역으로 구분할 수 있고, 출력 영역이 디스플레이를 통해 표시될 수 있다. 예를 들면, 커브길에서 촬영 단말이 포함된 차량의 속도에 따라 흔들림 벡터 1과 상대적으로 큰 흔들림 벡터 2가 있는 경우, 흔들림 벡터 2가 반영된 송출 영역이 흔들림 벡터 1이 반영된 송출 영역 보다 넓을 수 있다.
이와 같이 촬영 단말이 위의 정보를 수신 단말에 전송함으로써 수신 단말은 해당 정보를 반영하여 수신 단말의 디스플레이부에서 재생되는 영상 부분을 확인할 수 있으며, 이와 같이 촬영 단말이나 수신 단말의 흔들림 정보를 기반으로 디스플레이부에서 재생되는 영상의 부분을 결정하므로 수신 단말의 사용자가 보다 원활하게 영상을 시청할 수 있다. 이와 같은 촬영 단말과 관련된 마진 영역, 송출 영역 또는 재생 단말과 관련된 마진 영역 출력 영역에 대한 기재는 이하 도면에서도 동일하게 적용될 수 있다.
송신 단말의 흔들림은 송신 단말이 포함된 차량의 주행 정보를 기반으로 결정될 수 있다. 구체적으로, 차량의 주행 정보에 기초하여 차량의 주행 경로가 결정될 수 있다. 송신 단말이 포함된 차량은 결정된 주행 경로에 기반하여, 경로 상 예상되는 커브 길을 확인할 수 있다. 이때, 커브 길의 구부러진 정도에 기반하여, 차량의 속도에 따른 송신 단말의 흔들림이 예상될 수 있다. 여기서, 차량의 주행 경로 및/또는 차량의 속도에 기반하는 차량의 흔들림은 통계 기준에 따라 결정될 수 있다. 예를 들면, 차량의 결정된 주행 경로에 U자형 커브가 포함된 경우, 속도 60km/h인 차량이 U자형 커브를 주행할 때 송신 단말의 흔들림은 속도 100km/h인 차량이 U자형 커브를 주행할 때 송신 단말의 흔들림보다 상대적으로 적을 수 있다. 만약, 속도 40km/h인 차량이 U자형 커브를 주행하여도 송신 단말의 흔들림이 없다고 사전에 설정된 경우, 속도 60km/h인 차량과 속도 100km/h인 차량은 속도 40km/h인 차량과 비교하여 흔들림 크기 및/또는 흔들림 방향이 결정될 수 있다. 여기서, U자형 커브를 주행하는 40km/h인 차량의 흔들림이 없는 것은 사전의 통계 기준을 통해 확인될 수 있는 데이터의 일례에 불과하다.
또한, 차량에 장착된 센서에 의해 차량이 주행하는 도로의 불규칙 정도가 감지된 경우, 불규칙 정도에 기반하여 차량의 흔들림에 따른 송신 단말의 흔들림이 예상될 수 있다. 이때, 불규칙 정도에 기반하여 차량의 흔들림에 따른 송신 단말의 흔들림이 미리 설정된 기준보다 큰 경우 불규칙 정도에 따른 흔들림 크기 및/또는 흔들림 방향이 결정될 수 있다. 또는 송신 단말의 흔들림이 미리 설정된 기준보다 작은 경우 송신 단말이 획득한 영상에 흔들림이 반영되지 않을 수 있다. 예를 들면, 차량이 비 포장된 산악 도로를 주행하는 경우 비 포장 도로 상태에 따른 불규칙 정도가 감지될 수 있다. 만약, 비 포장 도로 상태에 따라 차량의 아래/위로 흔들림이 10도 이상인 경우, 흔들림이 영상에 반영되지 않는 미리 설정된 기준인 X도와 비교하여 흔들림 크기 및/또는 흔들림 방향이 결정될 수 있다. 여기서, X도는 일례에 불과하며, 흔들림이 영상에 반영되지 않는 미리 설정된 기준은 사전 통계 기준을 통해 확인될 수 있다.
또한, 차량이 주행 상황에 따라 일정 시간 동안 일정 속도 이상이 감속되는 급제동이 예상되는 경우, 급제동의 정도(예를 들면, 일정 시간 동안 감속되는 속도의 정도)에 기반하여 차량의 흔들림에 따른 송신 단말의 흔들림이 예상될 수 있다. 예를 들면, 주변의 다른 차량의 주행 상황에 따라 차량의 급제동이 예상되는 경우 급제동의 정도가 추정될 수 있고, 급제동 정도에 기반하여 차량의 흔들림 크기 및/또는 흔들림 방향이 결정될 수 있다. 구체적으로, 60km/h인 차량이 급제동하는 경우와 20km/h인 차량이 급제동하는 경우, 급제동의 정도에 따른 차량의 흔들림에 기반하여 송신 단말의 흔들림이 결정될 수 있다.
영상에 포함된 송출 영역은 송신 단말의 흔들림의 반영 전후에 따라 변경될 수 있다. 그림 a, 그림 b에서 확인된 바와 같이, 일례로서 차량의 흔들림에 따라 흔들림 방향이 위로 결정될 수 있다. 또한, 차량의 흔들림에 따른 흔들림 크기가 결정될 수 있고, 흔들림의 방향 및 흔들림의 크기에 따른 흔들림 벡터가 결정될 수 있다. 결정된 흔들림 벡터에 대응하는 영역만큼 송출 영역이 변경될 수 있으며, 수신 단말은 변경된 송출 영역과 관련된 정보를 수신할 수 있다. 이때, 송출 영역의 변경되는 정도는 흔들림 벡터(흔들림 방향 및 흔들림 크기)에 따라 결정될 수 있다.
도 7은 본 발명의 일 실시 예에 따른, 송신 단말에서 흔들림을 반영한 영상을 수신 단말로 전송하는 흐름도를 나타낸 도면이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
차량에 탑승한 사용자는 송신 단말을 이용하여 수신 단말과 영상 통화(710)를 할 수 있다. 이때, 송신 단말은 차량에 내장되지 않은 별도의 사용자 단말이거나 또는 차량에 내장된 통신 기기일 수 있다.
송신 단말은 차량과 유/무선 통신을 통해 차량의 주행 정보에 기초하여 차량의 흔들림을 확인할 수 있다. 이때, 차량의 흔들림에 따른 송신 단말의 흔들림에 의한 영상의 흔들림이 예측(720)될 수 있다. 만약, 송신 단말이 차량에 내장되지 않은 별도의 사용자 단말인 경우, 차량의 흔들림에 의해 차량 내부의 송신 단말의 흔들림이 결정될 수 있다. 이때, 송신 단말의 고정 여부가 고려될 수 있다. 만약, 송신 단말이 고정된 경우, 차량의 흔들림과 송신 단말의 흔들림이 동일할 수 있다. 예를 들면, 송신 단말이 차량의 특정한 위치에 고정된 경우, 차량의 아래위로 흔들림에 따라 송신 단말도 동일하게 아래위로 흔들릴 수 있다. 따라서, 차량의 흔들림에 따른 송신 단말의 흔들림에 의한 영상의 흔들림이 예측될 수 있다. 또는, 송신 단말이 고정되지 않은 경우, 차량 내부에서 송신 단말의 흔들림이 센서를 통해 감지될 수 있고, 센서가 감지한 송신 단말의 흔들림에 기초하여 송신 단말의 흔들림 방향 및 흔들림 크기가 결정될 수 있다. 예를 들면, 송신 단말을 사용자가 들고 영상 통화를 하는 경우, 차량 내의 센서는 영상 내에서 송신 단말의 움직임에 따른 흔들림 방향 및 흔들림 크기를 감지할 수 있다. 따라서, 차량의 흔들림에 따른 송신 단말의 흔들림에 의한 영상의 흔들림이 예측될 수 있다.
송신 단말에서 영상의 흔들림이 예측된 경우, 영상에서 탑승자의 흔들림이 예측(730)될 수 있다. 송신 단말의 흔들림에 의해, 송신 단말의 카메라와 탑승자 간의 거리 및/또는 각도에 기반하여 영상에서 탑승자의 흔들림이 예측될 수 있다. 예를 들면, 송신 단말과 탑승자 간의 거리 50cm 및/또는 각도 45도에 기반하여 송신 단말의 흔들림에 의한 영상에서 탑승자의 흔들림이 예측될 수 있다. 만약 송신 단말과 탑승자 간의 거리가 1m인 경우, 동일한 송신 단말의 흔들림이라도 영상에서 탑승자의 흔들림 크기는 증가될 수 있다. 영상에서 탑승자의 예측된 흔들림 방향 및 흔들림 크기에 기반하여 흔들림 벡터가 결정될 수 있다.
송신 단말은 흔들림 벡터를 영상에서 송출 영역에 적용(740)할 수 있다. 영상은 마진 영역과 송출 영역을 포함할 수 있다. 이때, 흔들림 벡터를 기반으로 송출 영역이 변경될 수 있다. 예를 들면, 위로 흔들림이 예측되는 경우 흔들림 크기만큼 위 방향으로 송출 영역이 증가될 수 있다. 이때, 송출 영역의 변화율은 흔들림 벡터에 기반하여 결정될 수 있다. 예를 들면, 동일한 흔들림 방향이라도 흔들림 크기가 큰 경우, 송출 영역의 변화율이 상대적으로 더 클 수 있다. 이때, 줌 인(zoom in), 줌 아웃(zoom out) 또는 영상 이동되도록 흔들림 벡터가 송출 영역에 적용될 수 있다. 예를 들면, 영상에서 탑승자가 흔들리더라도 기존 송출 영역 내부에 탑승자가 존재하는지 여부가 감지될 수 있고, 기존 송출 영역 내부에 탑승자가 존재하는 경우 흔들림 벡터에 기반하여 영상 이동될 수 있다. 다른 예를 들면, 영상에서 탑승자가 흔들려서 기존 송출 영역을 벗어나는 것이 예측되는 경우, 줌 아웃되어 탑승자가 송출 영역에 포함되도록 흔들림 벡터가 적용될 수 있다. 이때, 영상의 줌 아웃 정도는 흔들림 벡터에 기반하여 결정될 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 수신 단말이 송신 단말로부터 수신한 영상과 수신 단말의 흔들림이 반영된 영상을 나타낸다. 그림 a는 수신 단말이 송신 단말로부터 수신한 영상이고, 그림 b는 수신 단말에서 흔들림이 반영된 후 영상을 나타낸다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
수신 단말이 송신 단말로부터 수신한 영상은 송신 단말의 흔들림이 반영된 영상일 수 있다. 송신 단말로부터 수신한 영상은 도 6의 마진 영역(630)을 제외한 송출 영역(640)을 포함할 수 있다. 송출 영역(640)을 포함하는 수신한 영상은 마진 영역(810)과 출력 영역(820)으로 구분될 수 있다. 이때, 마진 영역과 출력 영역의 크기는 흔들림 벡터 3에 기반하여 조절될 수 있고, 크기가 조절된 출력 영역이 표시될 수 있다. 또한 실시 예에서 수신한 영상은 송신 단말이 촬영한 영상일 수 있으며, 수신 단말이 흔들림 정도를 반영하여 출력 영역이 표시될 수 있음은 자명하다.
수신 단말은 송신 단말의 흔들림 벡터 1과 수신 단말의 흔들림 벡터 2를 기반으로 흔들림 벡터 3을 도출할 수 있다. 흔들림 벡터 3은 흔들림 벡터 1과 흔들림 벡터 2의 합에 의해 결정될 수 있다. 수신 단말은 도출된 흔들림 벡터 3에 따라 조절된 마진 영역(830)과 출력 영역(840)을 생성할 수 있다. 여기서, 출력 영역(840)은 수신 단말에서 표시되는 영역일 수 있다. 그림 a, 그림 b에서 확인된 바와 같이, 일례로서 송신 단말과 수신 단말의 흔들림을 고려한 흔들림 벡터 3에 따라 흔들림의 방향이 1시 방향으로 결정될 수 있다. 흔들림 벡터 3에 따라 출력 영역이 변경될 수 있으며, 수신 단말은 변경된 출력 영역(840)을 표시할 수 있다. 이때, 출력 영역의 변경되는 정도는 흔들림 벡터 3에 따라 결정될 수 있다.
여기서, 수신 단말의 흔들림 벡터 2는 수신 단말이 포함된 차량에 의해 결정될 수 있다. 수신 단말의 흔들림 벡터 2는 영상 통화하는 송신 단말로 전송될 수 있다. 이때, 송신 단말은 흔들림 벡터 2를 이용하여 수신자와 관련된 영상을 보정하여 디스플레이에 표시할 수 있다. 즉, 송신 단말과 수신 단말은 양방향 통신에 의해 서로 역할이 바뀔 수 있다.
구체적으로, 차량의 주행 정보에 기초하여 차량의 주행 경로가 결정될 수 있다. 수신 단말이 포함된 차량은 결정된 주행 경로에 기반하여, 경로 상 예상되는 커브 길을 확인할 수 있다. 이때, 커브 길의 구부러진 정도에 기반하여, 차량의 속도에 따른 수신 단말의 흔들림이 예상될 수 있다. 여기서, 차량의 주행 경로 및/또는 차량의 속도에 기반하는 차량의 흔들림은 통계 기준에 따라 결정될 수 있다. 예를 들면, 차량의 결정된 주행 경로에 S자형 커브가 포함된 경우, 속도 80km/h인 차량이 S자형 커브를 주행할 때 수신 단말의 흔들림은 속도 120km/h인 차량이 S자형 커브를 주행할 때 수신 단말의 흔들림보다 상대적으로 적을 수 있다. 만약, 속도 30km/h인 차량이 S자형 커브를 주행하여도 수신 단말의 흔들림이 없다고 사전에 설정된 경우, 속도 80km/h인 차량과 속도 120km/h인 차량은 속도 30km/h인 차량과 비교하여 흔들림의 크기 및/또는 흔들림의 방향이 결정될 수 있다. 따라서, 차량의 흔들림 크기 및/또는 흔들림 방향에 기반하여 흔들림 벡터 2가 결정될 수 있다. 여기서, S자형 커브를 주행하는 30km/h인 차량의 흔들림이 없는 것은 사전의 통계 기준을 통해 확인될 수 있다.
또는, 차량에 장착된 센서에 의해 차량이 주행하는 도로의 불규칙 정도가 감지된 경우, 불규칙 정도에 기반하여 차량의 흔들림에 따른 수신 단말의 흔들림이 예상될 수 있다. 이때, 불규칙 정도에 기반하여 차량의 흔들림에 따른 수신 단말의 흔들림이 미리 설정된 기준보다 큰 경우 불규칙 정도에 따른 흔들림의 크기 및/또는 흔들림의 방향이 결정될 수 있거나, 또는 수신 단말의 흔들림이 미리 설정된 기준보다 작은 경우 영상에 흔들림이 반영되지 않을 수 있다. 예를 들면, 차량이 비 포장된 산악 도로를 주행하는 경우 비 포장 도로 상태에 따른 불규칙 정도가 감지될 수 있다. 만약, 비 포장 도로 상태에 따라 차량의 아래/위로 흔들림이 10도 이상인 경우, 흔들림이 영상에 반영되지 않는 미리 설정된 기준인 3도와 비교하여 흔들림의 크기 및/또는 흔들림의 방향이 결정될 수 있다. 여기서, 3도는 실시 예에 불과하며, 흔들림이 영상에 반영되지 않는 미리 설정된 기준은 사전 통계 기준을 통해 확인될 수 있다. 따라서, 차량의 흔들림 크기 및/또는 흔들림 방향에 기반하여 흔들림 벡터 2가 결정될 수 있다.
또는, 차량이 주행 상황에 따라 급제동이 예상되는 경우, 급제동의 정도에 기반하여 차량의 흔들림에 따른 송신 단말의 흔들림이 예상될 수 있다. 예를 들면, 주변의 다른 차량의 주행 상황에 따라 차량의 급제동이 예상되는 경우 급제동의 정도가 추정될 수 있고, 급제동 정도에 기반하여 차량의 흔들림 크기 및/또는 흔들림 방향이 결정될 수 있다. 따라서, 차량의 흔들림 크기 및/또는 흔들림 방향에 기반하여 흔들림 벡터 2가 결정될 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 수신 단말에서 흔들림을 반영하여 영상을 보정하는 흐름도를 나타낸 도면이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
차량에 탑승한 사용자는 단말을 이용하여 다른 사용자와 영상 통화를 할 수 있다. 이때, 사용자가 이용하는 단말은 차량에 내장되지 않은 별도의 단말이거나 또는 차량에 내장된 통신 기기일 수 있다. 이때, 사용자의 단말이 수신 단말인 경우, 다른 사용자의 단말은 송신 단말일 수 있다. 또는, 영상 통화는 실시간 양방향 통신을 수행하는 것이므로, 송신 단말과 수신 단말의 역할이 바뀔 수 있다.
수신 단말은 송신 단말로부터 영상과 흔들림 벡터를 수신(910)할 수 있다. 이때, 수신한 영상은 송신 단말이 획득한 영상에 대해 송신 단말의 흔들림 벡터가 반영된 영상일 수 있다. 또한, 수신 단말은 송신 단말로부터 송신 단말이 포함된 차량의 주행 정보와 관련된 정보를 수신할 수 있다. 송신 단말이 전송한 영상 및 송신 단말의 흔들림 벡터에 대해 자세한 설명은 도 7을 참조한다.
수신 단말은 송신 단말의 흔들림 벡터 1과 수신 단말의 흔들림 벡터 2에 기반하여 흔들림 벡터 3을 도출(920)할 수 있다. 이때, 흔들림 벡터 3은 흔들림 벡터 1과 흔들림 벡터 2의 합에 의해 도출될 수 있다. 수신 단말은 차량과 유/무선 통신을 통해 차량의 주행 정보에 기초하여 수신 단말이 포함된 차량의 흔들림을 확인할 수 있다. 이때, 차량의 흔들림에 따른 수신 단말의 흔들림에 의한 영상의 흔들림이 예측될 수 있다. 만약, 수신 단말이 차량에 내장되지 않은 별도의 사용자 단말인 경우, 차량의 흔들림에 의해 차량 내부의 수신 단말의 흔들림이 결정될 수 있다. 이때, 수신 단말의 고정 여부가 고려될 수 있다. 만약, 수신 단말이 고정된 경우, 차량의 흔들림과 수신 단말의 흔들림이 동일할 수 있다. 예를 들면, 수신 단말이 차량의 특정한 위치에 고정된 경우, 차량의 아래위로 흔들림에 따라 수신 단말도 동일하게 아래위로 흔들릴 수 있다. 따라서, 차량의 흔들림에 따른 수신 단말의 흔들림에 의한 영상의 흔들림이 예측될 수 있다. 또는, 수신 단말이 고정되지 않은 경우, 차량 내부에서 수신 단말의 흔들림이 센서를 통해 감지될 수 있고, 센서가 감지한 수신 단말의 흔들림에 기초하여 수신 단말의 흔들림 방향 및 흔들림 세기가 결정될 수 있다. 예를 들면, 수신 단말을 사용자가 들고 영상 통화를 하는 경우, 차량 내의 센서는 영상 내에서 수신 단말의 움직임에 따른 흔들림 방향 및 흔들림 크기를 감지할 수 있다. 차량의 흔들림에 따른 수신 단말의 흔들림 벡터 2가 결정될 수 있다. 따라서, 수신 단말은 결정된 흔들림 벡터 2와 송신 단말로부터 수신한 흔들림 벡터 1에 기반하여 흔들림 벡터 3을 도출할 수 있다.
수신 단말은 흔들림 벡터 3을 영상에 적용(930)할 수 있다. 영상은 마진 영역과 출력 영역을 포함할 수 있다. 이때, 흔들림 벡터 3을 기반으로 출력 영역이 변경될 수 있다. 따라서, 흔들림 벡터 3에 의한 흔들림 방향 및 흔들림 크기에 기반하여 출력 영역과 마진 영역이 조절될 수 있다. 이때, 송신 단말과 마찬가지로 줌 인(zoom in), 줌 아웃(zoom out) 또는 영상 이동되도록 흔들림 벡터 3이 출력 영역에 적용될 수 있다.
수신 단말은 흔들림 벡터 3이 출력 영역에 적용된 경우, 영상에서 마진 영역을 제외한 출력 영역을 디스플레이 상에 표시(940)할 수 있다. 또한, 수신 단말은 출력 영역을 송신 단말로 전송할 수 있다. 또한, 송신 단말은 흔들림 벡터 2 및/또는 흔들림 벡터 3을 수신할 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 주행 정보 또는 통신 환경의 변화를 나타낸 도면이다. 도 11은 본 발명의 일 실시 예에 따른, 재생 단말의 일정한 영역에 표시된 촬영 단말과 관련된 정보를 나타낸 도면이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
송신 단말이 포함된 차량의 주행 정보 또는 통신 환경은 수신 단말과 공유될 수 있다. 예를 들면, 송신 단말이 포함된 차량이 터널에 진입하는 경우 수신 단말은 관련 정보를 일정한 영역에 표시할 수 있다. 수신 단말은 송신 단말과 관련된 변화를 예측할 수 있고, 예측된 송신 단말의 변화에 기반하여 보정된 영상을 재생할 수 있다. 따라서, 수신 단말은 관련 정보에 따라 송신 단말의 변화를 미리 준비할 수 있다. 이하 그림(1010 ~ 1040)은 송신 단말과 관련된 변화의 일례로서, 본 발명의 권리범위는 이에 한정되지 않는다.
그림(1010)은 송신 단말이 포함된 차량이 통신 상태 불량 지역에 진입한 경우를 나타낸다. 송신 단말이 통신 상태 불량 지역에 진입한 경우, 송신 단말과 수신 단말 간의 통신이 원활하지 않을 수 있다. 따라서, 수신 단말은 송신 단말의 통신 상태 불량 진입 여부를 일정한 영역에 표시할 수 있다. 이때, 통신 상태 불량 지역은 해당 지역에서 송신 단말이 연결되는 네트워크 시그널이 미리 설정된 기준 이하에 해당하는 지역을 나타낸다. 도 11의 그림(1110)는 송신 단말의 네트워크 시그널을 나타내는 표시로서, 수신 단말의 일정한 영역에 표시된 것을 나타낸다. 구체적으로, 그림(1110)은 송신 단말이 통신 상태 불량 지역 진입에 따른 네트워크 시그널 세기가 수신 단말에 표시된 것일 수 있다. 이때, 일정한 영역은 사전에 결정될 수 있고, 또는 사용자의 설정에 따라 수정될 수 있다.
그림(1020)은 송신 단말이 포함된 차량의 주행 정보에 기반하여, 차량이 터널에 진입한 경우를 나타낸다. 차량의 주행 경로에 비추어 터널이 예정된 경우, 차량의 속도에 기반하여 터널 진입 예정 시간이 결정될 수 있다. 송신 단말은 수신 단말과 주행 경로 및/또는 터널 진입 예정 시간을 공유할 수 있으며, 수신 단말은 일정한 영역에 송신 단말의 터널 진입 여부 및/또는 터널 진입 예정 시간을 표시할 수 있다. 도 11의 그림(1120)은 송신 단말이 터널에 진입하였음을 나타내는 것이다. 또는, 송신 단말의 터널 진입하는 예정 시각과 함께 표시될 수 있다.
그림(1030)은 송신 단말이 포함된 차량의 주행 정보에 기반하여, 차량이 공사 현장 근처를 진입하는 경우를 나타낸다. 공사 현장 근처의 경우 도로 상태 불량으로 인해, 송신 단말의 급격한 흔들림이 발생될 수 있다. 이때, 공사 현장 근처의 기준은 사전에 설정된 거리 이내 인지 여부에 따라 결정될 수 있다. 사전에 설정된 거리 이내로 송신 단말이 공사 현장에 근접한 경우, 수신 단말은 송신 단말의 주변 상황을 미리 설정된 영역에 표시할 수 있다. 도 11의 그림(1130)은 송신 단말이 공산 현장 근처에 진입하였음을 나타내는 것이다. 또는, 송신 단말의 공사 현장 근처에 진입하는 예정 시각과 함께 표시될 수 있다.
그림(1040)은 송신 단말이 포함된 차량의 주행 정보에 기반하여, 차량이 급커브 구간에 진입한 경우를 나타낸다. 급커브 구간에 진입한 경우 차량의 속도에 따라 송신 단말의 급격한 흔들림이 발생될 수 있다. 커브 구간의 구부러진 정도와 차량의 속도에 따른 송신 단말의 흔들림은 사전 통계 기준으로부터 예측될 수 있고, 수신 단말은 송신 단말의 흔들림을 예측하여 영상을 보정할 수 있다. 도 11의 그림(1140)은 일례로서 3초 후 송신 단말이 급커브에 진입하는 경우를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른, 흔들림을 반영한 영상 재생 방법을 나타낸 흐름도이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
단계(1210)에서, 촬영 단말로부터 영상 정보를 수신할 수 있다. 여기서, 영상 정보는 송신 단말이 포함된 차량 내부의 영상을 포함하는 정보일 수 있다. 예를 들면, 영상 정보는 송신 단말을 이용하여 영상 통화하는 사용자의 얼굴 영상을 포함할 수 있다. 이때, 수신한 영상 정보는 송신 단말의 흔들림 정보를 기반으로 생성될 수 있다. 송신 단말의 흔들림 정보는 차량의 주행 정보를 기반으로 생성될 수 있다. 차량 내부의 영상은 마진 영역과 송출 영역으로 구분될 수 있고, 송신 단말의 흔들림에 따라 마진 영역과 송출 영역이 조절될 수 있다. 또한, 수신 단말은 송신 단말로부터 영상 정보를 수신하면서, 송신 단말의 흔들림 정보도 함께 수신할 수 있다. 여기서, 수신 단말(재생 단말)의 흔들림 정보는 제1 흔들림 정보일 수 있고, 송신 단말(촬영 단말)의 흔들림 정보는 제2 흔들림 정보일 수 있다.
단계(1220)에서, 재생 단말과 관련된 제1 흔들림 정보를 획득할 수 있다. 재생 단말 즉 수신 단말의 흔들림 정보는 재생 단말이 포함된 차량의 주행 정보에 따라 결정될 수 있다. 송신 단말의 흔들림 벡터 1과 수신 단말의 흔들림 벡터 2를 기반으로 흔들림 벡터 3이 도출될 수 있다.
단계(1230)에서, 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인할 수 있다. 이때, 수신 단말은 제1 흔들림 정보와 제2 흔들림 정보에 의해 도출된 새로운 흔들림 벡터를 영상에 반영하여 마진 영역과 출력 영역의 크기를 조절할 수 있다. 만약, 차량의 예상 주행 경로에서 차량의 주행 정보로 인한 제1 흔들림 정보 또는 제2 흔들림 정보 중에서 적어도 하나가 일정한 기준 이상으로 조정이 예상되는 경우, 예상된 흔들림 정도를 고려하여 출력 영역이 조절되어 표시될 수 있다.
단계(1240)에서, 상기 영상 정보 및 상기 출력 영역을 이용하여 영상이 재생될 수 있다. 또한, 수신 단말은 송신 단말이 포함된 차량의 주행 정보를 일정한 영역에 표시할 수 있거나 또는 송신 단말의 통신 환경 정보의 변화를 일정한 영역에 표시할 수 있다. 따라서, 수신 단말의 사용자는 송신 단말의 흔들림을 사전에 예측할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 영상 재생 장치의 블록 도를 나타낸 도면이다. 여기서, 촬영 단말은 영상 정보를 전송하는 송신 단말일 수 있고, 재생 단말은 촬영 단말로부터 영상 정보를 수신하는 수신 단말일 수 있다.
본 발명의 일 실시 예에 따른, 영상 재생 장치(1300)는 프로세서(1310), 통신부(1320)를 포함할 수 있다. 영상 재생 장치(1300)는 수신 단말 또는 송신 단말에 내장될 수 있다. 프로세서(1310), 통신부(1320)의 특징 및 기능이 도 1의 프로세서(180), 통신부(110)와 대응될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
프로세서(1310)는 통상적으로 영상 재생 장치(1300)의 전반적인 동작을 조절할 수 있다. 예를 들면, 프로세서(1310)는, 메모리(미도시)에 저장된 프로그램들을 실행함으로써 통신부 및 디스플레이 등을 전반적으로 제어할 수 있다.
또한, 프로세서(1310)는 차량 내에서 영상 통화 수행 시 차량의 주행 정보를 기반으로 영상의 흔들림을 반영하여 영상을 재생할 수 있다. 이때, 송신 단말의 흔들림뿐만 아니라 수신 단말의 흔들림을 반영하여 영상이 재생될 수 있다. 또한, 차량의 주행 정보를 기반으로 차량의 흔들림에 따른 송신 단말과 수신 단말의 흔들림을 사전에 확인하여, 영상의 흔들림을 고려하여 재생될 수 있다. 또한, 통신 환경이나 주행 상황의 변화에 의해 일정 수준 이상의 송신 단말의 흔들림이 예측될 경우, 수신 단말로 관련 정보를 전송하여 수신 단말은 사전에 영상의 흔들림에 대해 준비할 수 있다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 재생 단말에서 영상 재생 방법에 있어서,
    촬영 단말로부터 영상 정보를 수신하는 단계;
    상기 재생 단말과 관련된 제1 흔들림 정보를 획득하는 단계;
    상기 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인하는 단계; 및
    상기 수신한 영상 정보 및 상기 확인된 출력 영역을 이용하여 영상을 재생하는 단계
    를 포함하는, 영상 재생 방법.
  2. 제1항에 있어서,
    상기 촬영 단말과 관련된 제2 흔들림 정보를 수신하는 단계를 더 포함하고,
    상기 출력 영역은 상기 제2 흔들림 정보를 추가로 고려하여 확인되는,
    영상 재생 방법.
  3. 제2항에 있어서,
    상기 영상 정보는 상기 촬영 단말이 포함된 차량의 주행 정보에 따른 상기 차량 내부의 영상을 포함하고,
    상기 영상 정보는 마진 영역과 송출 영역을 포함하고, 상기 마진 영역과 상기 송출 영역은 상기 촬영 단말이 포함된 차량의 주행 정보에 따라 측정된 상기 촬영 단말의 상기 제2 흔들림 정보에 따라 가변되는 영역인,
    영상 재생 방법.
  4. 제3항에 있어서,
    상기 송출 영역은 상기 촬영 단말에서 획득한 상기 차량 내부의 영상 정보 중에서 사용자의 얼굴이 위치하는 영역을 포함하고, 상기 마진 영역은 상기 촬영 단말에서 획득한 상기 차량 내부의 영상 정보 중에서 상기 송출 영역을 제외한 영역을 포함하고,
    영상 재생 방법.
  5. 제3항에 있어서,
    상기 송출 영역과 상기 마진 영역의 넓이는 가변될 수 있고, 상기 제2 흔들림 정보는 상기 촬영 단말의 흔들림 방향과 흔들림 크기를 포함하고, 상기 제2 흔들림 정보가 작은 경우보다 상기 제2 흔들림 정보가 상대적으로 큰 경우 상기 송출 영역은 상기 흔들림 방향으로 상기 흔들림 크기만큼 증가되는
    영상 재생 방법.
  6. 제2항에 있어서,
    상기 영상을 재생하는 단계는,
    상기 촬영 단말로부터 수신한 영상 정보가 상기 제1 흔들림 정보와 상기 제2 흔들림 정보에 의해 도출된 새로운 흔들림 정보에 기반하여 조절되어 마진 영역과 출력 영역이 결정되어 상기 출력 영역이 재생되는 것을 포함하고, 상기 출력 영역은 상기 재생 단말을 통해 재생되는 영역이고 상기 마진 영역은 상기 출력 영역을 제외한 영역인,
    영상 재생 방법.
  7. 제2항에 있어서,
    상기 재생 단말의 제1 흔들림 정보는 상기 재생 단말이 포함된 차량의 주행 정보, 상기 재생 단말과 탑승객 간의 거리 및 상기 재생 단말과 상기 탑승객 간의 각도중에서 적어도 하나를 고려하여 결정되고, 상기 촬영 단말의 제2 흔들림 정보는 상기 촬영 단말이 포함된 차량의 주행 정보, 상기 촬영 단말과 탑승객 간의 거리 및 상기 촬영 단말과 상기 탑승객 간의 각도중에서 적어도 하나를 고려하여 결정되는,
    영상 재생 방법.
  8. 제7항에 있어서,
    상기 차량의 주행 정보는,
    상기 차량의 속도, 상기 차량의 주행 경로에 포함된 커브 길의 구부러진 정도, 상기 차량이 주행하는 도로의 상태 및 상기 차량의 상기 속도의 변화 중에서 적어도 하나를 고려하여 결정되는,
    영상 재생 방법.
  9. 제8항에 있어서,
    상기 출력 영역은,
    예상 주행 경로에서 상기 차량의 주행 정보로 인한 상기 제1 흔들림 정보 및 상기 제2 흔들림 정보 중에서 적어도 하나가 일정한 기준 이상으로 조정이 예상되는 경우 예상된 흔들림 정도를 고려하여 상기 출력 영역이 조절되는,
    영상 재생 방법.
  10. 제1항에 있어서,
    상기 영상을 재생하는 단계는,
    상기 촬영 단말이 연결되는 네트워크 시그널의 세기가 일정한 기준 이하인 지역에 상기 촬영 단말이 진입한 경우 상기 네트워크 시그널의 세기가 상기 영상과 함께 표시되거나, 또는 상기 촬영 단말이 포함된 차량의 주행 경로 상에 터널 진입이 예정된 경우 상기 촬영 단말의 터널 진입과 관련된 정보가 상기 영상과 함께 표시되거나, 또는 상기 촬영 단말이 포함된 차량의 주행 정보가 상기 영상과 함께 표시되는,
    영상 재생 방법.
  11. 촬영 단말로부터 영상 정보를 수신하는 통신부;
    재생 단말과 관련된 제1 흔들림 정보를 획득하고, 상기 제1 흔들림 정보를 반영하여 상기 영상 정보에서 상기 재생 단말에 표시될 출력 영역을 확인하고, 상기 수신한 영상 정보 및 상기 출력 영역을 이용하여 영상을 재생하는 프로세서
    를 포함하는, 영상 재생 장치.
  12. 제11항에 있어서,
    상기 촬영 단말과 관련된 제2 흔들림 정보를 수신하는 단계를 더 포함하고,
    상기 출력 영역은 상기 제2 흔들림 정보를 추가로 고려하여 확인되는,
    영상 재생 장치.
  13. 제12항에 있어서,
    상기 영상 정보는 상기 촬영 단말이 포함된 차량의 주행 정보에 따른 상기 차량 내부의 영상을 포함하고,
    상기 영상 정보는 마진 영역과 송출 영역을 포함하고, 상기 마진 영역과 상기 송출 영역은 상기 촬영 단말이 포함된 차량의 주행 정보에 따라 측정된 상기 촬영 단말의 상기 제2 흔들림 정보에 따라 가변되는 영역인,
    영상 재생 장치.
  14. 제13항에 있어서,
    상기 송출 영역은 상기 촬영 단말에서 획득한 상기 차량 내부의 영상 정보 중에서 사용자의 얼굴이 위치하는 영역을 포함하고, 상기 마진 영역은 상기 촬영 단말에서 획득한 상기 차량 내부의 영상 정보 중에서 상기 송출 영역을 제외한 영역을 포함하고,
    영상 재생 장치.
  15. 제13항에 있어서,
    상기 송출 영역과 상기 마진 영역의 넓이는 가변될 수 있고, 상기 제2 흔들림 정보는 상기 촬영 단말의 흔들림 방향과 흔들림 크기를 포함하고, 상기 제2 흔들림 정보가 작은 경우보다 상기 제2 흔들림 정보가 상대적으로 큰 경우 상기 송출 영역은 상기 흔들림 방향으로 상기 흔들림 크기만큼 증가되는
    영상 재생 장치.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 촬영 단말로부터 수신한 영상 정보가 상기 제1 흔들림 정보와 상기 제2 흔들림 정보에 의해 도출된 새로운 흔들림 정보에 기반하여 조절되어 마진 영역과 출력 영역을 결정하고 상기 출력 영역을 재생하는 것을 포함하고, 상기 출력 영역은 상기 재생 단말을 통해 재생되는 영역이고 상기 마진 영역은 상기 출력 영역을 제외한 영역인,
    영상 재생 장치.
  17. 제12항에 있어서,
    상기 재생 단말의 제1 흔들림 정보는 상기 재생 단말이 포함된 차량의 주행 정보, 상기 재생 단말과 탑승객 간의 거리 및 상기 재생 단말과 상기 탑승객 간의 각도중에서 적어도 하나를 고려하여 결정되고, 상기 촬영 단말의 제2 흔들림 정보는 상기 촬영 단말이 포함된 차량의 주행 정보, 상기 촬영 단말과 탑승객 간의 거리 및 상기 촬영 단말과 상기 탑승객 간의 각도중에서 적어도 하나를 고려하여 결정되는,
    영상 재생 장치.
  18. 제17항에 있어서,
    상기 차량의 주행 정보는,
    상기 차량의 속도, 상기 차량의 주행 경로에 포함된 커브 길의 구부러진 정도, 상기 차량이 주행하는 도로의 상태 및 상기 차량의 상기 속도의 변화 중에서 적어도 하나를 고려하여 결정되는,
    영상 재생 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 촬영 단말이 연결되는 네트워크 시그널의 세기가 일정한 기준 이하인 지역에 상기 촬영 단말이 진입한 경우 상기 네트워크 시그널의 세기를 상기 영상과 함께 표시하거나, 또는 상기 촬영 단말이 포함된 차량의 주행 경로 상에 터널 진입이 예정된 경우 상기 촬영 단말의 터널 진입과 관련된 정보를 상기 영상과 함께 표시하거나, 또는 상기 촬영 단말이 포함된 차량의 주행 정보를 상기 영상과 함께 표시하는,영상 재생 장치.
  20. 제1항의 방법을 컴퓨터에서 실행시키기 위한 인스트럭션을 기록한 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
KR1020190101419A 2019-08-19 2019-08-19 영상 재생 방법 및 장치 KR20190104104A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190101419A KR20190104104A (ko) 2019-08-19 2019-08-19 영상 재생 방법 및 장치
US16/557,953 US20200007772A1 (en) 2019-08-19 2019-08-30 Imaging reproducing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101419A KR20190104104A (ko) 2019-08-19 2019-08-19 영상 재생 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190104104A true KR20190104104A (ko) 2019-09-06

Family

ID=67950058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101419A KR20190104104A (ko) 2019-08-19 2019-08-19 영상 재생 방법 및 장치

Country Status (2)

Country Link
US (1) US20200007772A1 (ko)
KR (1) KR20190104104A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750927B2 (en) 2021-08-12 2023-09-05 Deepx Co., Ltd. Method for image stabilization based on artificial intelligence and camera module therefor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
CN114531545A (zh) * 2022-02-11 2022-05-24 维沃移动通信有限公司 图像处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750927B2 (en) 2021-08-12 2023-09-05 Deepx Co., Ltd. Method for image stabilization based on artificial intelligence and camera module therefor

Also Published As

Publication number Publication date
US20200007772A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US20200042775A1 (en) Artificial intelligence server and method for de-identifying face area of unspecific person from image file
US20200010095A1 (en) Method and apparatus for monitoring driving condition of vehicle
US20200005100A1 (en) Photo image providing device and photo image providing method
US20200012873A1 (en) Driving guide method and apparatus for vehicle
US11669781B2 (en) Artificial intelligence server and method for updating artificial intelligence model by merging plurality of pieces of update information
KR102225975B1 (ko) 엔진음 합성 장치 및 엔진음 합성 방법
KR20190104489A (ko) 공기 조화기의 센서 데이터를 보정하는 인공 지능 공기 조화기 및 그 방법
KR20190106862A (ko) 인공지능 장치 및 그를 이용한 IoT 기기의 도난 감지 및 탐색 방법
KR102263250B1 (ko) 엔진 소음 제거 장치 및 엔진 소음 제거 방법
KR20190104104A (ko) 영상 재생 방법 및 장치
KR102331672B1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
KR102607390B1 (ko) 차량의 주변 상황 확인 방법
KR102421488B1 (ko) 복수개의 출력 레이어를 이용한 인공 지능 장치 및 방법
US20210166484A1 (en) Xr device and method for controlling the same
KR102537381B1 (ko) 보행경로예측장치
KR20190095186A (ko) 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
KR20190094317A (ko) 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법
US20190382000A1 (en) Apparatus and method for automatic driving
KR20210099456A (ko) 특정 기능을 강화하여 이미지 데이터를 생성하는 이미지 프로세서, 인공 지능 장치 및 그 방법
KR20190095194A (ko) 사용자의 동선을 결정하는 인공 지능 장치 및 그 방법
US11205248B2 (en) Mobile terminal
US11116027B2 (en) Electronic apparatus and operation method thereof
KR102626716B1 (ko) 통화 음질 향상 시스템, 통화 음질 향상 장치 및 방법
US11550328B2 (en) Artificial intelligence apparatus for sharing information of stuck area and method for the same
KR102591707B1 (ko) 보행경로예측장치