5月132017
查看python路径以及安装包的路径
mac 系统更新后,python路径变了,导致之前安装的包不能用了,查看更新后python及包安装路径
查看包路径$ python -c "from distutils.sysconfig import get_python_lib; print (get_python_lib())"
/usr/local/Cellar/python...阅读全文
评论:0条
4月152017
利用爬虫实现订阅网站最新内容并发邮件通知
[TOC]实现功能通过scrapy 抓取网站最新一条内容保存到redis并跟之前的作对比,如果是新的则发邮件通知内容更新了!
准备scrapyredis
bjjs_spider.py# -*- coding: utf-8 -*-
import scrapy
import sys
sys.path.append("..")
fr...阅读全文
评论:0条
4月92017
Mac 下python + Selenium + PhantomJS自动登录
安装
Seleniumsudo pip install selenium
PhantomJSbrew install phantomjs
下载chromedriverhttp://chromedriver.storage.googleapis.com/index.html我这下载的chromedriver_mac64.zip,将解压...阅读全文
评论:0条
1月32017
12月112016
pip安装python库总是下载timeout超时解决方案
方法一:建个文件 ~/.pip/pip.conf, 内容如下
[global]
index-url = http://b.pypi.python.org/simple
[install]
use-mirrors = true
mirrors = http://b.pypi.python.org
http://pypi.pyth...阅读全文
评论:0条
10月212016
成人内容识别技术,深度学习公司Clarifai公司推出识别成人内容的模型和API
【图像识别】著名人工智能、视频分析、深度学习公司Clarifai公司官网,前天推出了一项新的服务,即用于识别成人内容的模型和API,据说模型很准确能识别含有裸体和半裸的图片和视频具体参见:http://blog.clarifai.com/moderate-filter-or-curate-adult-content-with-clarif...阅读全文
评论:0条
10月132016
8月162016
python nohup & 没有日志
最近在用nohup执行python脚本,发现nohup.out 里日志不实时写入,后来发现stdout是启用了缓冲区。
nohup python xxx.py &
解决办法就是用python -u ,如下:
nohup python -u xxx.py &
现在就可以查看实时日志了
tail -f nohup.o...阅读全文
评论:0条
8月62016
8月22016
从头开始搭建一个爬虫网站
目录
[TOC]打算用python搭建一个网站,内容用scrapy抓取网络内容。
用到的技术
pythonscrapyflasksqlitemysqlbootstrap
scrapy 爬内容
scrapy 下载http://scrapy.org/download/
安装
$ sudo python setup.py install
pi...阅读全文
评论:0条