2022年终总结

生活 2022年,因为新冠,我的抑郁症终于好了,赞美太阳。具体情况见我上篇博文。 抑郁症好了后,感觉整个人对生活的状态都变了。我愿意面对生活的残

最近搭的一套离线数仓架构

最近在搭公司的离线数仓,整理出了一批很实用的组件,在这里分享下。 spark-sql seatunnel k8s clickhouse hive metastore dolphin-scheduler 使用seatunnel+spark将数据从业务数据库导入cli

2021年总结

这是一篇迟来的2总结。不知怎么的就忘了写了,一直拖到现在。 2021年是单调无聊的一年。 这一年都是在做实时数仓。主要精力都花在对口径、写sql

使用akka踩的一些坑

最近在学习 akka,踩了很多坑,这里分享给大家。 使用 akka-stream 限制并发度 原代码如下。 1 2 3 4 5 6 7 8 9 def fetchRlCnt(pageNumbers: Seq[Int]): Future[Int] = { val futures: Seq[Future[HttpResponse]] = pageNumbers .map(page => Http() .singleRequest(HttpRequest(uri = s"https://examples.org/mix_list/$page"))) Future.sequence(futures) .map(_.map(Unmarshal(_).to[MixList])) .flatMap(Future.sequence(_)) .map(_.map(_.data.rl.length).sum) } 本

浅谈TLV协议的实现

今天稍微聊点应用层网络协议设计。 简介 众所周知,tcp是一种面向字节流的协议,可以看作一条无尽的水流。如果对水流的内容不加区分,便完全不知道各

我的macOS软件清单

工作后一直用MacBook Pro(15款和17款),除了公司发的,自己也有一台,现在已经完全习惯了在macOS下开发。macOS下的各种工具

2020年回顾

2020年是我人生中最不寻常的一年,经历了疫情、换工作两件大事。 疫情 这个大家都经历过,不说了。 换工作 马云有句话说的好,“员工的离职原因很多,