requirement安装包其中安装opencv-python，还需要安装yum install mesa-libGL.x86_64 {代码...}

使用预先训练的模型进行特征提取：使用小型数据集时，通常的做法是利用在相同域中的较大数据集上训练的模型中学习的特征。这是通过实例化预训练的模型并在顶部添加完全连接的分类器来完成的。预先训练的模型是“冻结的”，训练过程中仅更新分类器的权重。在这种情况下...

Keys对应了三个属性，但其实bert应该是有7个特征属性。为什么另外四个属性在这里没有，目前不是很清楚，但我觉得Hub里面的Advance topics估计是在讲这个事情。但由于现在要做的任务是文本分类，以下的四个特征是不需要的。

Fashion MNIST分类Fashion MNIST数据集现在称之为深度学习的Hello World。替代了之前的手写体识别了。原因应该是深度学习的发展，手写体识别变得太简单了。官方例子官方代码尝试使用卷积神经网络来识别官方卷积神经网络参考获取Fashion MNIST数据 {代码...} 定义卷积...

深度学习之简单分类简单二元分类制造数据 {代码...} 构建模型并训练 {代码...} 查看测试数据和预测数据 {代码...} 多分类制造数据 {代码...} 构建模型并训练 {代码...} 查看数据 {代码...}

深度学习之回归模型-简单线性模型数据集生成 {代码...} 定义线性模型 {代码...} 训练模型 {代码...} 画出损失历史图 {代码...} 查看模型是否拟合 {代码...}

会有一些任务需要实时调取某用户的XX信息，在这一层如果使用接口去做，如果数据量到达30几万的数据，光一个scan就卡死在那边了。后面采用离线任务去做，大概一个任务可能会需要10几秒左右完成。

一般业务上，我们只会关心写ElasticSearch，写也没有用到spark-elasticsearch组件。使用的是ElasticSearch原生的bulkProcessor。

ElasticSearch ILM试玩创建一个生命周期管理策略官方给的例子 {代码...} 自己随便造一个，完全可以在Kibana界面上完成操作~ {代码...} 创建一个带有策略的索引副本官方示例 {代码...} 自己造一个 {代码...} 写入索引文档测试 {代码...} 测试的一些问题疑惑设置的是1...

数组需要一块连续的内存空间来存储，对内存的要求比较高。如果我们申请一个 100MB 大小的数组，当内存中没有连续的、足够大的存储空间时，即便内存的剩余总可用空间大于 100MB，仍然会申请失败。而链表恰恰相反，它并不需要一块连续的内存空间，它通过“指针”将一组零...

我们知道，计算机会给每个内存单元分配一个地址，计算机通过地址来访问内存中的数据。当计算机需要随机访问数组中的某个元素时，它会首先通过下面的寻址公式，计算出该元素存储的内存地址：

最好情况时间复杂度就是，在最理想的情况下，执行这段代码的时间复杂度。就像我们刚刚讲到的，在最理想的情况下，要查找的变量 x 正好是数组的第一个元素，这个时候对应的时间复杂度就是最好情况时间复杂度。

对于K最近邻算法来说，判断新数据是属于红色还是黑色，非常简单，这个点离谁最近，就和谁是同一类了。显然这样看来，它属于红色。但是这非常容易犯了“一叶障目，不见泰山”的问题。可以增加最近邻的数量，假设我们增加到3那么可以清楚地看到，会将新数据归于到黑色分...

Jackson的使用 枚举的序列化和反序列化 使用@JsonValue和@JsonCreator {代码...} 使用JsonType {代码...} 反序列化List {代码...}

这是一个很抽象化的方法，一开始看得一头雾水。但是大部分的聚合函数都基于这个方法去实现的，比如常用的reduceByKey，所以这个方法很重要。

ElasticSearch 聚合操作 准备数据 {代码...} Metric聚合 最小值、平均值、最大值 {代码...} 使用stats得到统计值 {代码...} 分桶聚合 对员工的工种进行分桶 {代码...} 使用cardinality得到分桶数量 {代码...} 找到不同工种年龄最大的3个员工的信息 {代码...} Range分...

scala学习：提取器 unapply 与模式匹配 {代码...} 正则表达式 {代码...}

Scala学习：抽象类型 type 现实与代码不兼容的问题 先抛出一个现实与代码不兼容的问题。 以下代码奶牛吃草是正常的，但你把鱼也喂给奶牛，它竟然也吃起来了。这显然是不合理的。 scala通过type抽象类型解决这个问题 {代码...} 使用type解决不兼容问题 {代码...}

Scala学习：枚举类型 枚举 {代码...} 自定义Value {代码...}

隐式转换和隐式参数 Scala总共有三个地方会使用隐式定义： 转换到一个预期的类型 对某个（成员）选择接收端（字段、方法调用等）的转换 隐式参数 隐式规则 标记规则：只有标记为implicit的定义才可用。可标记任何变量、函数、对象 作用域规则：被插入的隐式转换必须...