K8凯发(中国)天生赢家·一触即发

直播卡顿的处理方法、装置、电子设备及存储介质
栏目:k8凯发官网 发布时间:2025-09-26
 (71)申请人康键信息技术,深圳,有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室,入驻深圳市前海商务秘书有限公司,  本申请涉及人工智能技术领域,公开了一种直播卡顿的处理方法、装置、电子设备及存储介质,包括,若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,根据卡顿状态信息,对直播数据流进行处

  (71)申请人康键信息技术,深圳,有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室,入驻深圳市前海商务秘书有限公司,

  本申请涉及人工智能技术领域,公开了一种直播卡顿的处理方法、装置、电子设备及存储介质,包括,若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,根据卡顿状态信息,对直播数据流进行处理生成目标数据流,将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。本申请的方法,利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉,进而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。

  若检测到客户端播放的直播数据流出现卡顿,确定所述直播数据流的卡顿状态信息,其中,所述卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,

  将所述目标数据流加载至所述客户端,以供所述客户端将所述目标数据流代替所述直播数据流进行播放。

  2.根据权利要求1所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述卡顿状态信息包括视频卡顿状态,所述根据所述卡顿状态信息,对所述直播数据流进行处理生成目标数据流,包括,

  对所述直播数据流中位于卡顿起始时刻之前的目标时刻的视频帧进行截取,获取待处理图像,其中,所述目标时刻与所述卡顿起始时刻之间的间隔时长位于第一时长范围内,所述待处理图像包括人脸特征区域,

  将预设变化系数和所述人脸特征图像输入预设转换模型,得到多组目标人脸特征图像,

  根据多组所述目标人脸特征图像分别对所述待处理图像中的人脸特征区域进行替换处理,得到多个目标图像,

  3.根据权利要求1所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述卡顿状态信息包括音频卡顿状态,所述根据所述卡顿状态信息,对所述直播数据流进行处理生成目标数据流,包括,

  根据所述直播数据流的卡顿持续时长获取第一客户端对应的目标音频数据,其中,所述第一客户端为上传所述直播数据流的所述客户端,

  4.根据权利要求3所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述根据所述直播数据流的卡顿持续时长获取目标音频数据,包括,

  若所述直播数据流的卡顿持续时长小于或等于第一预设时长,调取所述第一客户端对应的预设音频数据作为所述目标音频数据,

  若所述直播数据流的卡顿持续时长大于第一预设时长,对所述直播数据流中位于卡顿起始时刻之前的音频流进行解析处理,确定所述直播数据流中出现的场景关键词,

  将所述目标文本和所述音韵结构信息输入音频合成模型,得到所述目标音频数据。

  5.根据权利要求4所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述方法还包括,

  提取所述直播数据流中位于所述卡顿起始时刻之前的音频流中的音频数据作为所述

  6.根据权利要求1至5中任一项所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述方法还包括,

  若检测到所述直播数据流停止卡顿,确定直播恢复时刻,其中,所述直播恢复时刻与卡顿终止时刻之间的间隔时长位于第二时长范围内,

  根据所述直播恢复时刻发送提示信息至第一客户端,以供所述第一客户端显示所述提示信息,其中,所述第一客户端为上传所述直播数据流的所述客户端,所述提示信息包括所述卡顿终止时刻与所述直播恢复时刻所处的时段内所述目标数据流对应的音频文本和在所述直播恢复时刻所述目标数据流对应的人脸轮廓信息中至少一者,以及所述直播恢复时刻,

  7.根据权利要求1至5中任一项所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述方法还包括,

  若所述直播数据流对应进程的CPU占用率大于预设占用比值,确定所述直播数据流出现卡顿,或,

  若所述客户端的界面响应时长大于第二预设时长,确定所述直播数据流出现卡顿,或,

  若相邻的所述直播数据流的时间戳之间的间隔超出预设间隔范围,确定所述直播数据流出现卡顿,其中,所述时间戳与每一帧所述直播数据流映射在时间轴上的时间节点相对应。

  在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,所述目标数据流根据所述直播数据流的卡顿状态信息生成,

  9.根据权利要求8所述的基于人工智能的直播卡顿的处理方法,其特征在于,所述方法还包括,

  接收所述服务端发送的提示信息,其中,所述提示信息包括所述直播数据流的卡顿终止时刻与直播恢复时刻所处的时段内所述目标数据流对应的音频文本和在所述直播恢复时刻所述目标数据流对应的人脸轮廓信息中至少一者,以及所述直播恢复时刻,

  按照所述直播恢复时刻和当前时刻,利用倒计时模块在所述直播界面上渲染显示直播倒计时信息,

  若所述当前时刻为所述直播恢复时刻,停止显示所述音频文本、所述人脸轮廓信息所述直播倒计时信息和所述目标数据流。

  确定模块,用于若检测到客户端播放的直播数据流出现卡顿,确定所述直播数据流的卡顿状态信息,其中,所述卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,

  处理模块,用于根据所述卡顿状态信息,对所述直播数据流进行处理生成目标数据流,

  通信模块,用于将所述目标数据流加载至所述客户端,以供所述客户端将所述目标数

  通信模块,用于在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,所述目标数据流根据所述直播数据流的卡顿状态信息生成,

  12.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述基于人工智能的直播卡顿的处理方法的步骤。

  13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述基于人工智能的直播卡顿的处理方法的步骤。

  [0001] 本申请涉及人工智能技术领域,尤其是涉及到一种直播卡顿的处理方法、装置、电子设备及存储介质。

  [0002] 人工智能(Artificial Intelligence) ,英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括规则学习、语音识别、图像识别、深度学习和智能系统等。

  [0003] 随着视频直播行业的发展的越来越快,直播暴露的问题也就原来越多。由于智能系统中涉及视频直播间的交互用户众多,以及各种复杂场景下主播和用户对于订单、商品、用户、主播需求。当在系统的直播平台观看直播时,遇到弱网情况时会发生较长时间的卡顿情况,当网络恢复时,直播内容会直接跳到当下主播直播的进度,这就造成了直播内容的丢失。

  [0004] 相关技术中,通常采用两种解决方案, (1)直播卡顿后视频接黑屏或视频掉帧,对用户的体验来说非常的不好。 (2)黑屏的这个时段内,使用一段广告或静止的图片代替,造成观看者观感不佳的问题,进而导致观看者流失。

  [0006] 有鉴于此,本申请提供了一种直播卡顿的处理方法、装置、电子设备及存储介质,以解决在直播卡顿时采用黑屏或静态图片替换导致的用户观感不佳的问题。

  [0007] 第一方面,提供了一种基于人工智能的直播卡顿的处理方法,包括,

  [0008] 若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,

  [0010] 将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。

  [001 1] 第二方面,提供了一种基于人工智能的直播卡顿的处理方法,包括,

  [0012] 在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成,

  [0014] 第三方面,提供了一种基于人工智能的直播卡顿的处理装置,包括,

  [0015] 确定模块,用于若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态,

  [0016] 处理模块,用于根据卡顿状态信息,对直播数据流进行处理生成目标数据流,

  [0017] 通信模块,用于将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。

  [0018] 第四方面,提供了一种基于人工智能的直播卡顿的处理装置,包括,

  [0019] 通信模块,用于在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成,

  [0021] 第五方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述基于人工智能的直播卡顿的处理方法的步骤。

  [0022] 第六方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述基于人工智能的直播卡顿的处理方法的步骤。

  [0023] 上述基于人工智能的直播卡顿的处理方法、装置、电子设备及存储介质所实现的方案中,当服务端检测到客户端播放的直播数据流出现卡顿问题时,分析直播数据流的卡顿状态信息。再通过与卡顿状态信息匹配的处理策略对直播数据流进行处理,以合成用于替换原直播数据流的音视频数据流(目标数据流) 。服务端将目标数据流加载至客户端,由此,客户端可利用目标数据流代替卡顿时的直播数据流进行播放。从而利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉,进而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。

  [0024] 上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

  [0025] 为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

  [0026] 图1是本申请中基于人工智能的直播卡顿的处理方法的流程示意图之一,

  [0027] 图2是本申请中基于人工智能的直播卡顿的处理方法的流程示意图之二,

  [0028] 图3是本申请中基于人工智能的直播卡顿的处理方法的流程示意图之三,

  [0029] 图4是本申请中基于人工智能的直播卡顿的处理方法的流程示意图之四,

  [0030] 图5是本申请中基于人工智能的直播卡顿的处理方法的一应用环境示意图,

  [0031] 图6是本申请中基于人工智能的直播卡顿的处理装置的结构示意图之一,

  [0032] 图7是本申请中基于人工智能的直播卡顿的处理装置的结构示意图之二。

  [0033] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完

  整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

  [0034] 应当理解,本发明实施例提供一种基于人工智能的直播卡顿的处理方法。所述直播卡顿的处理方法的执行主体包括但不限于服务端、客户端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述直播卡顿的处理方法可以由安装在客户端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于,单台服务器、服务器集群、云端服务器或云端服务器集群等,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN) 、以及大数据和人工智能平台等基础云计算服务的云服务器。

  [0035] 请参阅图1所示,图1为本申请实施例提供的适用于服务端的基于人工智能的直播卡顿的处理方法的一个流程示意图,包括如下步骤,

  [0036] S11 ,若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,

  [0037] 其中,直播数据流包括视频流和音频流。而且考虑到不同卡顿形式造成的不同观感,将卡顿状态信息细分为下述情况,

  [0038] (1)视频卡顿状态,也即存在视频卡顿,直播音频可正常播放,例如,视频加载慢导致的黑屏、动画帧卡顿、界面不可交互。

  [0039] (2)音频卡顿状态,也即存在音频卡顿,直播视频可正常播放,例如,声音卡顿导致的音画不同步。

  [0040] (3)视频卡顿状态和音频卡顿状态,也即视频和音频同时出现卡顿。

  [0041] 可以理解的是,造成直播数据流播放卡顿的原因可能是设备渲染卡顿、解码卡顿、OpenGL处理卡顿、网络卡顿、推流异常卡顿。其中,可采用TextureView渲染,TextureView跟随window共用一个surface,每一帧均需要一起协同渲染并相互影响,此时,若用户界面卡顿可能会造成视频流卡顿,同样的视频流的卡顿有时候也会造成用户界面的卡顿。直播数据流在交互过程中通常采用编码器进行压缩,再将数据流解码为surface可消费的buffer 数据,但是帧的复杂度、编码算法的复杂度、分辨率等也会直接导致解码耗时被拉长,从而造成卡顿,OpenGL处理过程中有时会对解码完成的数据做二次处理,在该过程中若耗时较长会直接导致渲染卡顿。网络包括DNS节点优选、CDN服务、GOP配置等,拉高硬件的运行性能,比如CPU频率、GPU频率、线程绑大核以及网络相关的调优,从底层提高App的运行体验,其中任一项无法满徐播放需求则容易造成卡顿。推流异常主要以用户侧的视角为主,若用户侧分配到的资源不足,则容易出现卡顿。

  [0042] 需要说明的是,客户端包括第一客户端和第二客户端,第一客户端用于上传和播放直播数据流,也即直播者使用的客户端,第二客户端用于播放直播数据流,也即观看者使用的客户端。直播者通过安装直播软件的第一客户端,申请开启直播房间,利用该直播房间直播者将录制的音视频数据流上传至服务端,以进行直播。服务端将第一客户端上传的音视频数据流加载至第一客户端和第二客户端。此时,观看者则可以通过安装该直播软件的第二客户端,在进入直播软件后,可以打开相应的直播房间,通过播放的音视频数据流观看

  [0043] 具体地,客户端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如手机、平板电脑、掌上电脑、个人计算机(Personal Computer,PC) 、可穿戴设备、智能电视等。服务端可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心,服务端可以包括处理器、存储器以及网络接口等。

  [0044] 在具体的应用场景中,判断客户端播放的直播数据流是否出现卡顿可采用下述方式,

  [0045] 方式一,响应于客户端发送的卡顿信息,确定直播数据流出现卡顿。

  [0046] 在该实施例中,观看者或直播者可通过卡顿信息主动上报直播卡顿问题,当服务端接收到客户端发送的卡顿信息后即可获知客户端播放的直播数据流存在卡顿。同时,卡顿信息可包括卡顿状态信息,以便于服务端分析线] 方式二,若直播数据流对应进程的CPU占用率大于预设占用比值,确定直播数据流出现卡顿。

  [0048] 其中,导致进程的CPU占用率上升的原因可以是进程内的内存值大、GDI (Graphics Device Interface,图形设备接口)对象数量多、短时间内收到的通讯协议多、短时间内处理的通讯协议消耗时间太长等。

  [0049] 在该实施例中,服务端通过对直播数据流的进程的CPU占用率进行监控,若在预设时间段内直播数据流对应进程的CPU占用率大于预设占用比值,说明CPU占用率过大,在当前网络环境下存在较大的卡顿风险,此时判定客户端出现异常卡顿。

  [0050] 具体地,预设占用比值可根据客户端的硬件和运行的软件数据合理设置,例如,设置预设占用比值为90,。

  [0051] 方式三,若客户端的界面响应时长大于第二预设时长,确定直播数据流出现卡顿。

  [0052] 在该实施例中,服务端可根据直播数据流的进程发送的界面消息和接收的界面应答消息的时间差来确定客户端的界面响应时间。若在预设时间段内客户端的界面响应时长大于第二预设时长,说明界面无法快速响应用户的交互需求,则判定直播数据流出现卡顿。

  [0053] 具体地,预设占用比值可根据客户端的硬件和运行的软件数据合理设置,例如,设置预设响应时长为10ms、1s、3s等。

  [0054] 方式四,若相邻的直播数据流的时间戳之间的间隔超出预设间隔范围,确定直播数据流出现卡顿。

  [0055] 其中,时间戳与每一帧直播数据流映射在时间轴上的时间节点相对应。

  [0056] 在该实施例中,服务端在接收到第一客户端上传的直播数据流映后,将直播数据流映射在时间轴上,每一帧直播数据流与时间轴的每一个时间节点一一对应。由此,直播数据流在播放过程中对应到时间轴上的时间节点具有连续性,以便于对每一帧直播数据流进行时间定位。当出现网络卡顿时,则在直播数据流对应到时间轴上的时间节点会出现停滞不变,而当网络卡顿消失后,直播数据流继续从停滞不变时对应的时间节点开始继续进行播放。故而,通过计算相邻直播数据流的时间戳的差值,来判断该差值是否超出预设间隔范围。若超出,则可以判定直播数流的播放未连续进而判定出现卡顿。

  [0057] 具体地,预设间隔范围可根据客户端的硬件、运行的软件数据以及网络参数合理

  [0058] S12,根据卡顿状态信息,对直播数据流进行处理生成目标数据流,

  [0059] 在该实施例中,当服务端检测到客户端播放的直播数据流出现卡顿问题时,分析直播数据流的卡顿状态信息。再通过与卡顿状态信息匹配的处理策略对直播数据流进行处理,以合成用于替换原直播数据流的音视频数据流(目标数据流) 。以便于利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉。

  [0060] 在本申请的一些实施例中,若卡顿状态信息包括视频卡顿状态,也即存在视频卡顿问题。提供了一种具体地实体对齐方案,S12中,也即根据卡顿状态信息,对直播数据流进行处理生成目标数据流,具体包括如下步骤,

  [0061] S121‑1 ,对直播数据流中位于卡顿起始时刻之前的目标时刻的视频帧进行截取,获取待处理图像。

  [0062] 其中,目标时刻可以是与卡顿起始时刻之间的间隔时长位于第一时长范围内,且能够得到包括人脸特征区域的待处理图像的任一时刻。第一时长范围可以设置为30ms(10min)本申请实施例不做具体限定。例如,当检测到卡顿,服务端截取卡顿前一秒的视频帧,形成该视频帧的图片,当该图片没有识别到人脸时,再截取卡顿前两秒的视频帧,直到找到有人脸的视频帧,再形成卡顿图片。

  [0063] S121‑2,按照待处理图像中的人脸特征区域截取人脸特征图像,

  [0064] 其中,人脸特征区域可以是面部区域或更为精细的眼睛区域、嘴区域、眉毛区域等。

  [0065] 在具体应用场景中,通过人脸检测(Detection)技术识别出待处理图像中所有人脸的位置、大小、姿势等信息。再利用人脸校准(Alignment)技术对人脸特征区域上的特征点进行定位,得到特征位置信息,例如,眼睛、眉毛、鼻子、嘴巴、脸部外轮廓位置的位置特征点的位置信息。最后按照上述信息确定的人脸特征区域截取人脸特征图像。

  [0066] S121‑3,将预设变化系数和人脸特征图像输入预设转换模型,得到多组目标人脸特征图像,

  [0067] 其中,预设变化系数用于表示人脸形状、表情、姿态的变化。预设变化系数可根据不同的人脸特征合理设置,例如眨眼系数、眼球转动系数、面部转动系数、嘴开闭系数等。

  [0069] 可以理解的是,一组目标人脸特征图像对应一个人脸特征区域,一组目标人脸特征图像包括该人脸特征区域的多个不同形态的目标人脸特征图像。以嘴巴区域为例,将嘴巴特征图像输入预设转换模型后,模型输出3张嘴巴区域的图像,分别为完全张嘴的图像、不张嘴的图像和张一半嘴的图像。

  [0070] S121‑4,根据多组目标人脸特征图像分别对待处理图像中的人脸特征区域进行替k8凯发官网