2020年11月_JingYi的专栏_jingyi130705008

12月 11月 10月 09月 08月 07月 06月 04月 03月 02月 01月

原创 python 操作cassandra

1. 安装python使用cassandra_driver库操作cassandra:b.1、下载https://pypi.org/project/cassandra-driver/#files: cassandra-driver-3.16.0.tar.gz，解压后安装：python setup.py install备注：3.16版本的cassandra要求Cython的版本大于0.20，小于0.29b.2、安装cassandra-driver过程中提示缺少Cython，官网下载：htt...

2020-11-25 18:07:51 27

原创利用spark迁移cassandra集群数据

目前工作中遇到需求，需要将一个cassandra集群的数据迁移到另一个cassandra集群。从网上查询发现有两个解决方案，如下1. 读写的时候切换CassandraConnectorimport com.datastax.spark.connector._import com.datastax.spark.connector.cql._import com.datastax.spark.connector.rdd.CassandraTableScanRDDimport org.apa

2020-11-17 16:14:33 36

原创 spark another attempt succeeded

执行spark任务发现提示信息“another attempt succeeded”，这是由于设置了spark.speculation为true,该参数的含义如下：参考：If a task appears to be taking an unusually long time to complete, Spark may launch extra duplicate copies of that task in case they can complete sooner. This is r.

2020-11-16 14:45:27 59

xgboost源代码

本人通过亲自实践，教大家一步步在win下安装xgboost(http://blog.csdn.net/jingyi130705008/article/details/71435562)，这个是之前的xgboost的C++版本，是在python使用xgboost之前必须的包。

2017-05-08

births_transformed.csv.gz

博客https://blog.csdn.net/jingyi130705008/article/details/102941161 所需数据集

2019-11-06

geoip2.database包 GeoLite2-City.mmdb

geoip2 可解析出ip的位置和所在城市等信息，GeoLite2-City.mmdb数据库，仅供学习使用。

2020-10-23

bilstm_crf_code.tar.gz

该代码完整实现了基于bilstm+crf的tensorflow实现，可训练、预测。 ├── Batch.py # 实现batch功能 ├── bilstm_crf.py # 模型定义 ├── data # 数据文件夹 │ ├── Bosondata.pkl # 训练数据的输入（加工后） │ ├── generate_dataset.py # 数据加工脚本，将原数据处理成模型需要的格式 │ └── wordtagsplit.txt # 原数据 ├── train.py # 训练相关的代码 └── utils.py # 功能函数

2020-07-24

采用fasttext对文本公告进行分类

该代码文件包括以下几个部分：（1）nlp_utils.py 数据功能处理函数（2）fast_text_train.py 训练代码（3）fast_text_predict.py 利用meta模型预测代码（4）frozen_graph.py 模型固化及预测代码（5）saves 训练得到的模型文件（6）word2id_dict.txt、label2id_dict.txt 训练时得到的字典文件

2020-07-08