0. 写在前面
今天是周末,原本是自由的时间,可是我还在1112这个办公室敲打着电脑。附件香蜜湖公园,白莲花公园,园博园都是周末的好去处,远一点的大小梅沙,东西冲,那里的海水是相当的蓝。。。
记录一下本周遇到的一些项目的踩坑经历
1. 中天嘉华
其实这个项目3个月前就在测试,可是测试不充分,到客户现场压测就遇到各种问题,线程用着用着就没有了,没有忙的状态的了。。。一开始以为线程挂掉了,将new thread的方式更换为 threadpoolexcute的方式来管理线程的新建,任务的处理。另外还添加了定时任务,来辅助解决有问题的任务。可是发现最后压测还是出现之前的问题。整个链路包括 vpr-diarization-asr, audio-streaming-client,audio-streaming-server,以及最后的 asr 服务,中间走HTTP协议调度
中间如果有链路堵塞,或者那个服务挂掉,或者线程池本身产生问题,都有可能会发生上述现象。鉴于我们经验不足,走了不少弯路,后来找到老板,请求支援,老板拉了工程团队的leader协助我们分析,采用了java的工具 jstat,辅助分析判断是线程死了还是阻塞了,后来我们用这个分析了,得出所有的线程阻塞在audio-streaming-client的一个同步接口的调用。这下我们找到原因了,针对性的调整策略,将同步接口调用改为异步接口调用,在spring boot 里面不采用bean的方式,直接new,然后shutdown连接,防止连接被占用,这样的方案再测试看看
后面遇到类似的情况,我们不用逞强,第一时间找对应经验丰富的人协助我们分析,他们提供的建议可以帮助我们减少在黑暗中摸索;对于我们算法出身的同学,刚接手工程才4个月,经验还要继续补充啊
竹子林的一角,大树枝繁叶茂,根系异常发达
2. 上海银联
这个呢,由于先前沟通不畅,咱们的加密方案是需要依赖物理机或者机器准许插入加密狗,可是客户那边只有K8S虚机,或容器。到运维到现场的时候发现没有物理机,完了。要裸部署,还是不部署。这个项目前后销售,售前,项目经历,产品,研发投入的精力也不少,不部署的话,前功尽弃,部署的话,担心客户拷贝了我们的产品
找老板商量,我想知道老板是怎么看待这个事的
老板先是同意了这个事,先部署,后期找方案补救
我在和老板沟通的过程中,发现,老板压根不care这个安全方面的事,说我们想多了,我们要防小人而不需要防君子,像银联这么大的单位会拷贝你的东西吗?好吧,我们想多了,么有必要,专注于自身算法的提升以及工程稳定性吧
是的,我们想多了,给他们去用吧
喜欢这样的蓝天
3. 深圳分局
这个项目从我刚加入公司就开始了,到现在快2年了,还没有计收,前前后后我估计有半年的时间在这上面,PoC测试已经做了2大轮了。目前听说项目审批下来了,现在干劲充足了一些,否则的话,真想放弃,一方面出差太累,另外一方面看不到希望。
原先说月底测试,我们在三周前又借了3台服务器,加快数据的处理速度,整体是采用K8S的集群的方案,采用StatefulSet资源,每个node上完整的处理整个流程,包括音频的预处理,分离,聚类,打标签,建库等,这样可以不用跨node,不用消耗网络带宽。我们组是轮流来深圳待2周,进行数据的处理,各种实验,确定最终的方案。本周优化了模型,有10%的绝对提升。另外服务有些问题,mongo连接不上,很奇怪,有node连上的,有node连不上,这个要具体分析,看看要不要将mongo多产生几份,或绑定到连接不上的那个node上
这个项目共有5个厂家,看起来都比较辛苦,最近看到一个73年的到现场支持,还在写代码
另外我还调整了测试方案,周一再给客户审阅下,想真正的检测是否具备自动化的建库能力
不说了,这个项目不易细说。。。
最近一周每晚离开1112办公室的时间都比较晚,注意身体
前前后后待了几个月的地方
一直没有进去过做礼拜
路过的朋友,如果感觉文章对你有启发,能否微信扫一扫,随意打个赏
(如果需要转载,请注明作者和出处 呐喊的少年)