CentOS 6.4 安装搭建 Scrapy 2.7.6 环境更新CentOS lib库文件安装开发工具包安装扩展包下载Python2.7.6解压Python2.7.6编译安装Python2.7.6原文：http://www.cnblogs.com/leezhen/p/3539857.html
最近在自学爬虫框架scrapy，看了看官网文档，迫不及待动手安装。结果错误百出，惨不忍睹。网上搜了一篇文章，（原文链接 http://www.tuicool.com/articles/URNVV3E）。首先，介绍下环境：1、Centos6.5 x64 安装在VMware虚拟机中，因为后期需要移植，遂选择了兼容vm10.0。# yum -y update升级下系统2、Python2.7.9。系统自带为2.6.6。cd ~/Download管网下载源码：wget --no-check-certificate https://www.python.org/ftp/python/2....
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。
而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用...
1.anaconda3安装
wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh安装报错，可能是源的问题
直接在windows上下载anaconda3包，然后rz到centos上
地址：https://www.anaconda.com/distribution/#download-section
安装anaconda3：按照提示按enter和输入yes进行安装
安装成功后将anaconda3/bin目录添加进环境变量中anaconda3路径可以用which anaconda 或者 locate anaconda来找输入python，安装成功
...
参考网友的安装过程 Linux系统Centos安装Python3.7
设置Python默认为Python3.7mv /usr/bin/python /usr/bin/python.bak
ln -s /usr/python/bin/python3 /usr/bin/python
问题1：编译安装（make install）时抛错了 ModuleNotFoundError: No module named _ctypes
解决方案： 3.7版本需要一个新的包libffi-devel，安装此包之后再次进行编译安装即可。yum install libffi-devel -ymake install
问题2：pip install scrapy 时出现错误...
本scrapy中文教程主要介绍，centos7 linux下scrapy的安装，python版本是2.7！上面我们已经介绍了如何安装centos linux，如果还木有安装好centos，请移步：《scrapy centos7 linux安装（一）：centos安装》 安装好之后，我们来看如何在centos7下面安装scrapy。这里有一点特殊的地方要说下，相对于Windows，centos7自带python2.7，也就是说我们并不需要再安装python了，当然如果你想使用python3.6，请看另一篇文章：《centos7 linux安...
