xSky 实验室关注高性能计算,分布式系统/存储,大数据/机器学习/WebRTC

一文看懂WebTransport

2021-07-28 22:43:43

大家好，我是Will Law，目前在旧金山的Akamai Technologies办公室工作。我生活和工作的地方距离金门大桥非常近，也就是图片上的地方。能与美国和中国的工程师交流一直是我的荣幸，尤其是讨论在全球范围内具有重要意义的下一代Web协议问题。而我今天要介绍的主题就是关于WebTransport（网络传输）。

话不多说，让我们开始吧。我们首先要考虑下为什么需要一个新的协议？为什么HTTP1、HTTP2、HTTP3或WebSocket协议不能满足我们的需求？我将介绍当前这些协议存在的问题，并引出什么是WebTransport；它包括哪些部分；以及什么是网络堆栈；此外，我还会介绍W3C（国际网络联盟）提出的Web浏览器应用程序接口草案。最后，我们还将讨论如何参与该协议的开发。

在开始之前，我想先感谢Jeff Posnick、Victor Vasilief、Peter Thatcher、Yutaka Hirano和Bernard Aboba为本次演示提供的数据和内容素材。他们一直是WebTransport发展中不可或缺的一部分，尤其是在社区草案形成过程中做出了很多贡献，因此我想对他们提供的信息表示感谢。

QUIC协议和HTTP3.0研究

2021-06-02 02:18:05

QUIC(Quick UDP Internet Connections),即快速UDP网络连接，是被设计用在传输层的网络协议，最初由Google的Jim Roskind提出，最初实现和部署在2012年，截止目前仍然是一个因特网草案，但已经被广泛应用于Google浏览器和Google服务器之间。目前Chorme、Microsoft Edge、Firefox、Safari均已经支持QUIC，尽管不常用。

QUIC增加了面向连接的TCP网络应用程序的性能，它通过使用UDP在两个端点之间建立一系列多路复用（multiplexing）的连接实现这个目的，它同时被用来代替（obsolesce）TCP在网络层的作用，因此也被戏称为TCP/2

QUIC与HTTP/2的多路复用连接紧密结合,允许多个数据流独立的到达终端，因此一个数据包与其他的数据流传输的数据包丢失无关。与之相对的是，TCP如果有任何数据包的丢失或延迟，就会发生队头阻塞

QUIC的另一个目标是减少连接和传输时候的延迟,以及评估每一个方向的带宽来避免阻塞。它还将拥塞控制算法移动到两个端点的用户空间，而不是内核空间，根据QUIC的实现，这将会提升算法的性能。此外，当遇到预期的错误的时候，QUIC协议可以使用前向纠错(forward error correction)FEC来提升性能。2018年10月，IETF的HTTP和QUIC工作组共同决定将QUIC上的HTTP映射称为HTTP/3，以使其在全球范围内标准化。

QUIC 协议在蚂蚁集团落地之综述

2021-06-02 01:49:58

QUIC 是什么？

简单来说，QUIC (Quick UDP Internet Connections) 是一种基于 UDP 封装的安全可靠传输协议，他的目标是取代 TCP 并自包含 TLS 成为标准的安全传输协议。下图是 QUIC 在协议栈中的位置，基于 QUIC 承载的 HTTP 协议进一步被标准化为 HTTP3.0。

机器视觉开源代码集合

2021-05-31 12:46:45

一、特征提取Feature Extraction：
二、图像分割Image Segmentation：
三、目标检测Object Detection：
四、显著性检测Saliency Detection：
五、图像分类、聚类Image Classification, Clustering
五、图像分类、聚类Image Classification, Clustering
六、抠图Image Matting
七、目标跟踪Object Tracking：
八、Kinect：
九、3D相关：
十、机器学习算法：
十一、目标、行为识别Object, Action Recognition：
十一、目标、行为识别Object, Action Recognition：
十二、图像处理：
十三、一些实用工具：
十四、人手及指尖检测与识别：
十五、场景解释：
十六、光流Optical flow：
十七、图像检索Image Retrieval：
十八、马尔科夫随机场Markov Random Fields：
十九、运动检测Motion detection：

rd_kafka 的常见发布和订阅配置选项的整理

2021-05-29 16:25:25

rd_kafka 的常见发布和订阅配置选项的整理。这些选项可以用于设置 Kafka 生产者（发布者）和消费者（订阅者）的行为和属性。

发布者配置选项：

bootstrap.servers：Kafka 集群的地址列表，用于引导连接。
示例代码：

rd_kafka_conf_set(conf, "bootstrap.servers", "localhost:9092", errstr, sizeof(errstr));

国外机器人实验室的开源项目

2021-05-28 02:52:12

这里编辑文章摘要...

shell里配置代理

2021-05-28 02:50:39

设置所有的代理走socks5

Envoy为什么能战胜Ngnix——线程模型分析篇

2021-05-27 04:02:16

随着Service Mesh在最近一年的流行，Envoy 作为其中很关键的组件，也开始被广大技术人员熟悉。作者是Envoy的开发者之一，本文详细说明了Envoy的线程模型，对于理解Envoy如何工作非常有帮助。内容较为深入，建议细细品读。

关于Envoy的基础技术文档目前相当少。为了改善这一点，我正在计划做一系列关于Envoy各个子系统的文章。这是第一篇文章，请让我知道你的想法以及你希望涵盖的其他主题。最常见的问题之一是对Envoy使用的线程模型进行描述。

本文将介绍Envoy如何将连接映射到线程，以及Envoy内部使用的线程本地存储（TLS）系统，正是因为该系统的存在才可以保证Envoy以高度并行的方式运行并且保证高性能。

VScode: 常用快捷键

2021-05-26 12:07:46

常用快捷键
编辑器与窗口管理
代码编辑
格式调整
光标相关
重构代码
查找替换
显示相关
其他
修改默认快捷键

ARM版群晖安装软件

2021-05-25 10:22:56

下面说一下猫盘刷了群晖之后怎么安装常用的下载软件吧，这个方法除了猫盘以外，应该也可以在其他ARM版群晖上使用。ARM版群晖是没法安装docker的，一般安装软件是依靠群晖的套件中心。

安装transmission的话比较简单，直接在套件中心添加第三方源（http://packages.synocommunity.com），然后就可以直接在套件中心的社群里面找到transmission套件进行安装就可以了。

相比起transmission，个人更喜欢qBittorrent，qBittorrent可以通过修改种子的分类管理下载文件的保存路径，比较方便整理。但是群晖的套件中心中没有qBittorrent，也没有aira2，那应该怎么安装呢？

研究了一下，发现其实ARM版群晖是可以安装entware的，那就可以通过opkg来安装entware软件仓库中的大量软件了，可玩性大增有没有！

关于RTP中的时间戳问题

2021-05-25 02:01:04

在使用JRTPLIB的发送数据的时候需要设置时间戳单位（timestamp）和时间戳增量（timestamp increment）。

看了网上一些文章，细细想来现在才想通这个问题。

Address Sanitizer 用法

2021-05-11 01:25:06

简介

Address Sanitizer（ASan）是一个快速的内存错误检测工具。它非常快，只拖慢程序两倍左右（比起Valgrind快多了）。

它包括一个编译器instrumentation模块和一个提供malloc()/free()替代项的运行时库。

从gcc 4.8开始，AddressSanitizer成为gcc的一部分。当然，要获得更好的体验，

最好使用4.9及以上版本，因为gcc 4.8的AddressSanitizer还不完善，最大的缺点是没有符号信息。

使用google heap profiler进行内存占用分析

2021-03-03 07:50:20

最近在项目中用到了google的heap profiler工具来分析内存占用，效果非常显著，因此在这里写一篇博客记录一下使用过程中遇到的一些问题。

heap profiler依赖于tcmalloc，所以先要在本机安装tcmalloc，安装过程非常的简单。然后开始使用tcmalloc进行编译自己写的程序。

生成堆栈快照

先写一段申请大量内存的代码：

Linux中的常用内存问题检测工具

2021-03-03 05:04:22

C/C++等底层语言在提供强大功能及性能的同时，其灵活的内存访问也带来了各种纠结的问题。如果crash的地方正是内存使用错误的地方，说明你人品好。如果crash的地方内存明显不是consistent的，或者内存管理信息都已被破坏，并且还是随机出现的，那就比较麻烦了。当然，祼看code打log是一个办法，但其效率不是太高，尤其是在运行成本高或重现概率低的情况下。另外，静态检查也是一类方法，有很多工具（lint, cppcheck, klockwork, splint, o, etc.）。但缺点是误报很多，不适合针对性问题。另外好点的一般还要钱。最后，就是动态检查工具。下面介绍几个Linux平台下主要的运行时内存检查工具。绝大多数都是开源免费且支持x86和ARM平台的。

首先，比较常见的内存问题有下面几种：
• memory overrun：写内存越界
• double free：同一块内存释放两次
• use after free：内存释放后使用
• wild free：释放内存的参数为非法值
• access uninitialized memory：访问未初始化内存
• read invalid memory：读取非法内存，本质上也属于内存越界
• memory leak：内存泄露
• use after return：caller访问一个指针，该指针指向callee的栈内内存
• stack overflow：栈溢出

超文本传输协议版本3 (HTTP/3)

2021-01-27 13:43:13

QUIC 传输协议具有 HTTP 传输所需的几个特性，例如流多路复用、每个流的流控制和低延迟连接建立。本文档描述了 HTTP 语义在 QUIC 上的映射。本文档还确定了 QUIC 包含的 HTTP/2 功能，并描述了如何将 HTTP/2 扩展移植到 HTTP/3。

Linux TCP队列相关参数的总结

2020-10-26 03:29:36

在Linux上做网络应用的性能优化时，一般都会对TCP相关的内核参数进行调节，特别是和缓冲、队列有关的参数。网上搜到的文章会告诉你需要修改哪些参数，但我们经常是知其然而不知其所以然，每次照抄过来后，可能很快就忘记或混淆了它们的含义。本文尝试总结TCP队列缓冲相关的内核参数，从协议栈的角度梳理它们，希望可以更容易的理解和记忆。注意，本文内容均来源于参考文档，没有去读相关的内核源码做验证，不能保证内容严谨正确。作为Java程序员没读过内核源码是硬伤。

下面我以server端为视角，从连接建立、数据包接收和数据包发送这3条路径对参数进行归类梳理。

一、连接建立

600597ea206d2763f202da8db3d1aadced0f88ab

xRedis 1.4 版本发布！支持Redis官方集群

2020-09-24 22:47:45

release 1.4:

重构分片索引接口，提高易用性。
xRedisClusterClient模块多个BUG修复。
xRedisClusterClient功能更新。

编程类中文开源电子书合集

2020-09-03 12:21:39

关于开源图书有热心的伙伴和网友在网络上做了大量整理，本文为大家刊载免费编程类中文开源电子书合集全集，转载自 LinuxStory

暂无同学编辑和校对的文章 https://linuxstory.org/free-chinese-programming-books/，(原始 GitHub 地址：https://github.com/justjavac/free-programming-books-zh_CN）转载的原因是未来开源工场的小伙伴会就这个 repo 和话题做更加细致的整理，包括技术类、非技术类等等，希望帮到更多的小伙伴。如果你有兴趣一起做这件事情，请考虑联系工场电报群管理员或者 QQ 群群主。

国外程序员在 stackoverflow 推荐的程序员必读书籍，中文版。
stackoverflow 上的程序员应该阅读的非编程类书籍有哪些？中文版
github 上的一个流行的编程书籍索引中文版

书山有路勤为径，学海无涯苦作舟！

开源不仅局限于软件领域，开源同样意味着自由选择的权利和对知识开放的追求

史上最全的WebRTC服务器技术选型分析

2020-07-27 12:08:39

下面就来探讨下常见的SFU开源解决方案，当然，你也可以自己实现 SFU 流媒体服务器，但自已实现流媒体服务器困难还是蛮多的，它里面至少要涉及到 DTLS 协议、ICE 协议、SRTP/SRTCP 协议等，光理解这些协议就要花不少的时间，更何况要实现它了。

前言

所以最常见的办法就是使用开源的实现。但是这里我也想给大家说一定，用了开源的解决方案，能快速的搭建起业务，但是无疑也欠下了技术债，因为开源的解决方案肯定没有自己实现的要熟悉，因为不熟悉很多时候出现了问题，并不能马上解决，甚至解决不了，导致业务受到影响。而且熟悉开源解决方案都是需要一个时间和过程的，而一般领导会不会给你这个时间就两说了。

但如果你要快速的搭建起音视频系统的话，无疑使用开源技术解决方案是最快，最能节省人力成本的。下面我们就来分析下常见的SFU开源解决方案的优缺点，以便你选择合适的开源解决方案。

百亿流量微服务网关的设计与实现

2020-07-20 23:06:49

本文从百亿流量交易系统微服务网关（API Gateway）的现状和面临的问题出发，阐述微服务架构与 API 网关的关系，理顺流量网关与业务网关的脉络，分享API网关知识与经验。

API网关概述

“计算机科学领域的任何问题都可以通过增加一个间接的中间层来解决。”

——David Wheeler

分布式服务架构、微服务架构与 API 网关

1. 什么是API网关（API Gateway）

其实，网关跟面向服务架构（Service Oriented Architecture，SOA）和微服务架构（MicroServicesArchitecture，MSA）有很深的渊源。

十多年以前，银行等金融机构完成全国业务系统大集中以后，分散的系统都变得集中，也带来了各种问题：业务发展过快如何应对，对接系统过多如何集成和管理。为了解决这些问题，业界实现了作用于渠道与业务系统之间的中间层网关，即综合前置系统，由其适配各类渠道和业务，处理各种协议接入、路由与报文转换、同步异步调用等操作，如图7-1所示。

图7-1

人们基于SOA的理念，在综合前置的基础上，进一步增加了服务的元数据管理、注册、中介、编排、治理等功能，逐渐形成了企业服务总线（ESB，EnterpriseService Bus）。例如普元公司推出的PrimetonESB就是一个由本书作者之一参与开发的总线系统，如图7-2所示。

爱奇艺网络协程编写高并发应用实践

2020-06-23 14:11:06

早年间，⽀持多个⽤户并发访问的服务应⽤，往往采⽤多进程⽅式，即针对每⼀个 TCP ⽹络连接创建⼀个服务进程。在 2000 年左右，⽐较流⾏使⽤ CGI ⽅式编写 Web 服务，当时⼈们⽤的⽐较多的 Web 服务器是基于多进程模式开发的 Apache1.3.x 系列，因为进程占⽤系统资源较多，所以⼈们开始使⽤多线程⽅式编写 Web 应用服务，线程占⽤的资源更少，这使单台服务器⽀撑的⽤户并发度提⾼了，但依然存在资源浪费的问题。因为在多进程或多线程编程⽅式下，均采⽤了阻塞通信⽅式，对于慢连接请求，会使服务端的进程或线程因『等待』客户端的请求数据⽽不能做别的事情，⽩⽩浪费了操作系统的调度时间和系统资源。这种⼀对⼀的服务⽅式在⼴域⽹的环境下显示变得不够廉价，于是⼈们开始采⽤⾮阻塞⽹络编程⽅式来提升服务端网络并发度，⽐较著名的 Web 服务器 Nginx 就是⾮阻塞通信服务的典型代表，另外还有象 Java Netty 这样的⾮阻塞⽹络开发库。

⾮阻塞⽹络编程⼀直以⾼并发和⾼难度⽽著称，这种编程⽅式虽然有效的提升了服务器的利⽤率和处理能力，但却对⼴⼤程序员提出了较⼤挑战，因为⾮阻塞 IO 的编程⽅式往往会把业务逻辑分隔的⽀离破碎，需要在通信过程中记录⼤量的中间状态，⽽且还需要处理各种异常情况，最终带来的后果就是开发周期⻓、复杂度⾼，⽽且难于维护。

阻塞式⽹络编程实现容易但并发度不⾼，⾮阻塞⽹络编程并发度⾼但编写难，针对这两种⽹络编程⽅式的优缺点，⼈们提出了使⽤协程⽅式编写⽹络程序的思想。其实协程本身并不是⼀个新概念，早在2000年前Windows NT 上就出现了『纤程』的 API，号称可以创建成千上万个纤程来处理业务，在 BSD Unix 上可以⽤来实现协程切换的 API <ucontext.h> 在 2002 年就已经存在了，当然另外⽤于上下⽂跳转的 API<setjmp.h> 出现的更早（1993年）。虽然协程的概念出现的较早，但⼈们终不能发现其广泛的应⽤场景，象『longjmp』这些 API 多⽤在⼀些异常跳转上，如 Postfix（著名的邮件MTA）在处理⽹络异常时⽤其实现程序跳转。直到 Russ Cox 在 Go 语⾔中加⼊了协程（Goroutine）的功能，使⽤协程进⾏⾼并发⽹络编程才变得的简单易⾏。

Russ Cox 早在 2002 年就编写了⼀个简单的⽹络协程库 libtask（https://swtch.com/libtask/ ），代码量不多，却可以使我们⽐较清晰地看到『通过使⽹络 IO 协程化，使编写⾼并发⽹络程序变得如此简单』。

MySQL 的 crash-safe 原理解析

2020-06-05 01:11:41

MySQL作为当下最流行的开源关系型数据库，有一个很关键和基本的能力，就是必须能够保证数据不会丢。那么在这个能力背后，MySQL是如何设计才能保证不管在什么时间崩溃，恢复后都能保证数据不会丢呢？有哪些关键技术支撑了这个能力？本文将为我们一一揭晓。

一、前言

MySQL 保证数据不会丢的能力主要体现在两方面：

能够恢复到任何时间点的状态；
能够保证MySQL在任何时间段突然奔溃，重启后之前提交的记录都不会丢失；

对于第一点将MySQL恢复到任何时间点的状态，相信很多人都知道，只要保留有足够的binlog，就能通过重跑binlog来实现。

对于第二点的能力，也就是本文标题所讲的crash-safe。即在 InnoDB 存储引擎中，事务提交过程中任何阶段，MySQL突然奔溃，重启后都能保证事务的完整性，已提交的数据不会丢失，未提交完整的数据会自动进行回滚。这个能力依赖的就是redo log和unod log两个日志。

海量数据,海明距离高效检索(smlar)

2020-05-25 11:32:53

收集部分资料

xSky 实验室-- srs4 在线测试

2020-05-20 07:01:37

SRS4的DEMO

开发小技巧备忘

2019-11-25 01:28:49

开发小技巧备忘

ffmpeg命令

2019-11-16 14:06:57

FFMPEG 可以使用下面的参数进行基本信息查询。例如，想查询一下现在使用的 FFMPEG 都支持哪些 filter，就可以用 ffmpeg -filters 来查询。详细参数说明如下：

参数说明

-version 显示版本。

-formats 显示可用的格式（包括设备）。

-demuxers 显示可用的demuxers。

-muxers 显示可用的muxers。

-devices 显示可用的设备。

-codecs 显示libavcodec已知的所有编解码器。

-decoders 显示可用的解码器。

-encoders 显示所有可用的编码器。

-bsfs 显示可用的比特流filter。

-protocols 显示可用的协议。

-filters 显示可用的libavfilter过滤器。

-pix_fmts 显示可用的像素格式。

-sample_fmts 显示可用的采样格式。

-layouts 显示channel名称和标准channel布局。

-colors 显示识别的颜色名称。

Redis 6 新功能提前看！

2019-10-10 15:09:06

作者先简单介绍 Redis 6 会给大家提供的新功能，包括：

一、对用户使用有直接影响的功能

ACL用户权限控制功能
RESP3：新的 Redis 通信协议
Cluster 管理工具
SSL 支持

二、Redis 内部的优化

IO多线程支持
新的Module API
新的 Expire 算法

三、外部工具

Redis Cluster Proxy
Disque

使用Sysdig监视您的Ubuntu

2019-10-10 15:06:06

介绍

Sysdig是一个全面的开源系统活动监控，捕获和分析应用程序。它具有强大的过滤语言和可自定义的输出，以及可以使用称为chisels 的Lua脚本扩展的核心功能。

应用程序通过访问内核来工作，内核允许它查看每个系统调用以及通过内核传递的所有信息。这也使其成为监视和分析系统上运行的应用程序容器生成的系统活动和事件的出色工具。

核心Sysdig应用程序监视其安装的服务器。但是，该项目背后的公司提供了一个名为Sysdig Cloud的托管版本，可以远程监控任意数量的服务器。

独立应用程序可在大多数Linux发行版上使用，但在Windows和macOS上也可用，功能更为有限。除了sysdig命令行工具，Sysdig还带有一个csysdig带有类似选项的交互式UI 。

在本教程中，您将安装并使用Sysdig来监视Ubuntu 16.04服务器。您将流式传输实时事件，将事件保存到文件，过滤结果以及浏览csysdig交互式UI。

安装VMware没有虚拟网卡出现解决方法

2019-09-11 05:54:46

在CCleaner中点击注册表，在注册表清理中勾选所有，之后点击扫描问题，然后点击修复选定的问题，重复多次此步骤，直到出现没有发现问题

然后重装就OK了

想要搞懂数据可视化，看这篇就够了！

2019-09-05 12:36:25

最近很多朋友跟我抱怨：为了公司数据好看，老板一个劲地想要数据可视化，以为可视化就是画画图表这么简单，可苦了自己天天加班做数据，但其实老板根本不懂可视化！

确实，数据可视化无疑是当今最火热的词，不管是做什么数据，似乎都要拿来做一下可视化才行，但很多人都对数据可视化没有一个具体的概念，也不知道该如何实现可视化。所以，话不多说，下面就带大家由浅入深地学习数据可视化的定义、概念、实现过程和方法。

一、什么是数据可视化

科学可视化、 信息可视化和可视分析学三个学科方向通常被看成可视化的三个主要分支。而将这三个分支整合在一起形成的新学科 “数据可视化”，这是可视化研究领域的新起点。

广义的数据可视化涉及信息技术、自然科学、统计分析、图形学、交互、地理信息等多种学科。

想要搞懂数据可视化，看这一篇就够了