新工作第二十周

本周就是搜索项目的落地,还算顺利,遇到的最大问题就是Logstash同步,某一张表就是同步不过去(其他同类型的表没问题),可log也没有具体的报错,最后在小伙伴们的鼓励下,一条条排查,找到那条有问题的数据(其实数据没有问题),才算解决。这应该是Logstash的Bug,对于track字段一定要使用int类型,这是我的个人经验。

在具体做的时候,最重要的就是elasticsearch建模,然后就是不断的写search语句,语句没有绝对的好坏,就是不断组合测试,积累经验。写出性能高、符合业务需求的好语句并不容易,所以等一期上线后,还有很多工作要做。

elasticsearch的API很棒,如果你用PHP写的时候,想省力一点(避免学习一些特定PHP语句),就用原生的Json语句。

建模最重要的就是定义mapping,预先定义mapping能够节省空间,但有些字段中还包含各式各样的对象,属性是动态的,所以在这次项目中,无需搜索的字段没有预先定义mapping,这方面elasticsearch还是很灵活的。

对于本次产品需求,我觉得是有一定特色的,但具体效果还是要上线后才能看出来,很难提前感知出来,重点应该是二期。

昨天推荐了一个专栏《从0开始学大数据》,这个专栏代表了极客时间产品的风格,写的人大部分是架构师,内容偏方法论和框架性,在语言组织和内容结构性上非常好,但有点务虚,就是给人一种感觉“这个专栏太牛逼了,读完后很长见识,但好像啥也没掌握”,对比慕课上的教程(上周看了一个,不完全具有代表性),给人感觉务实,能让人快速上手,所以说各有优缺点。

为什么推荐这个专栏呢?它对于理解大数据周边的技术很有好处,至少让你清晰的知道大数据究竟讲了什么、可以解决那些问题。

对照elasticsearch全家桶,它和大数据的关系是什么呢?等这个项目过后,还有很多可以研究的,比如学习数据聚合功能(替代Mongodb,Mongodb也是今年想好好用用的,作为MySQL的补充)、基于Kibana的可视化数据分析、Xpack研究,它的目标应该是大数据平台。

阿里云有一款服务OpenSearch,它是一个分布式搜索引擎平台,它肯定不是elasticsearch的改造版,也不是一个底层的技术服务,而是一款产品服务,因为搜索服务在每个产品中都会用到(这也是lucene产生的原因),阿里云将其包装出来。

既然是包装,是能满足大部分搜索需求的,但灵活性肯定不如elasticsearch,它的优点就是有一些行业数据(比如分词),这种业务经验是我们短时间很难获取的。阿里云全家桶一旦用了就摆脱不了了,刚进公司的时候,我还想使用RDS代替自建的MySQL,现在暂时没有这想法了,不仅仅是成本的问题,因为你不了解它的话还是会出问题,对于核心服务,使用自建还是托管需要一个平衡。

OpenSearch可以试用一下,至少了解下它是如何产品化的,反推出来会进一步理解搜索业务的特点。后续打算将阿里云的产品都了解一遍,为什么有这产品?应用场景?技术关注点?

下周也要上班了,虽然害怕,但也是没办法,总不能一直不上,打算和家人隔离,自己躲在屋子里,就是地铁风险比较高,口罩也不多,带着还特别难受,容易掉,估计第一天上班很不适应,关键现在好像也没找到病y体,也没发现治好的原理,这能不让人害怕吗。

这周空气也不太好,前天倒不错,心情好了不少,心情好不好真的要靠自己的头脑决定,想得开自然就会好。

在家办公其实并不好,第一是沟通太不方便了,其次就是一大堆的群,劈里啪啦的,干扰太多,最后就是自己的自制力了。

在工作上,意识到自己的一个缺陷,先听人说完再说话;说正直的话(发自内心和责任感),但要注意别人的感受;工作中要进入心流状态就好了;内心平和,不要急着要结果,不平和是因为不自信和焦虑;找到自我,以我为主。

另外还要进一步提早储备一些技术,否则到时候很难受,也要重视一些可能会出现的问题,比如安全问题,现在流行的一个攻击就是挖矿,比如我的ECS年前就中招了。

等疫情过后,要重新规划(思考中)下工作方式(不能疲于奔命,计划性),学习方式(如何在工作中学习,学习后应用,储备,时间分配,重点是什么),家庭计划(什么是重要的事情,身体健康,如何认知这个世界,如何保护自己),家庭氛围(开开心心,不受任何影响),让自己平和一点。

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章