Linux-MySQL数据导入/导出


导出

  • 导出整个数据库:mysqldump -u userName -p dabaseName > fileName.sql
  • 导出单个表:mysqldump -u userName -p dabaseName tableName > fileName.sql
  • 导出数据库中所有表结构:mysqldump -u userName -p -d dabaseName > fileName.sql
  • 导出单个表结构:mysqldump -u userName -p -d dabaseName tableName > fileName.sql

导入

  • 方法一:

    mys...

Read more

Mac上使用appium,adb不能识别安卓手机


Mac上使用appium调试的时候使用adb不能识别手机

解决办法:

  • 将手机连接电脑,终端输入:system_profiler SPUSBDataType,会出现以下内容,在USB 3.1 Bus中,有一个PCI Vendor ID: 0x8086,记住这个Vendor ID
  • 打开/User/XXX/.android/adb_usb.ini,没有的话自己创建一个,在文件的最后一行将Vendor ID的内容(0x8086) 复印进去
  • 重启终端,启动adb
USB:

    USB 3.0 Bus:

      Host Controller Driver: AppleUSBXHC...

Read more

批量复制/移动文件


将一个目录以及子文件夹下的同一类型文件复制到统一的文件夹下

将代码中的.doc换成其他想复制的后缀名

自动遍历原文件夹,包括所有子孙文件夹

import os
import shutil


def copy_file(input_path, output_path):
    count = 1
    for p, fp, fn in os.walk(input_path):
        print("进入文件夹-->", p)
        if len(fn) > 0:
            for file_name in fn:
   ...

Read more

批量解压目录和子目录下rar文件


安装工具:pip install unrar

直接安装unrar还不能直接使用,会报找不到libraries的错误,需要安装一个WinRAR解析文件,下载地址

然后重要的一步,就是添加环境变量,此电脑(我的电脑)右键,属性,找到 高级系统设置,高级 选项卡下点击 环境变量,在系统变量(注意不是用户变量)中 新建,变量名输入 UNRAR_LIB_PATH ,必须一模一样,变量值要特别注意!如果你是64位系统,就输入 C:\Program Files (x86)\UnrarDLL\x64\UnRAR64.dll,如果是32位系统就输入 C:\Program Files (x86)\Unr...

Read more

Appium安装配置


Appium-demo

  • #### windows平台安装:

    • 方式一:安装包
    • 方式二:node.js
      • 先安装node.js,安装教程
      • 配置好node.js就可以使用命令安装appium了:npm install -g appium
  • #### Android环境配置:

    • 安装配置SDK,可以直接下载Android studio, 下载地址
    • 在Android studio的Android SDK设置里面可以下载各个版本的SDK
    • 配置环境变量
      • 添加ANDROID_HOME为SDK所在的路径
      • 将SDK路径下的tools和platform-toolsæ·»...

Read more

爬虫项目遇到的反爬措施和解决策略


目录结构:

  • header验证
  • 页面格式不统一
  • 登录验证
  • IP限制
  • 验证码

1. header限制

分析网络请求,找出请求中的header信息,尝试一个个添加进去,看看是哪一项进行了限制,最常见的是user-agent,如果header中没有user-agent会返回错误代码(如:500)。

解决办法就是在header中添加user-agent,可以写一个user-agent列表,随机添加。

2. 页面格式不统一

在页面分析的时候发现同一个资源的不同页面的格式不一样,在进行页面解析的时候,一套解析方法不能完全准确的爬取到信息。

解决办法:

方法一:在页面解析的时候,尽量分析网络请求,...

Read more

Urllib库中处理url的parse模块用法


parse可以对url进行解析,合并等操作

urlparse将一个url的各部分解析分离出来

import urllib.parse

# 解析url,返回包含url信息的6元元组
res=urllib.parse.urlparse("/docs.python.org/3/library/urllib.parse.html#module-urllib.parse")

hr = '*'*100

print(res)
print(hr)
# 协议
print(res.scheme)
print(hr)
print(res.netloc)
...

Read more

515-242-6620


目录结构:

  • 环境
  • 安装

1. 环境

  • linux--centos6.5(三台)
  • hadoop--2.6.5
  • HBASE--0.98.12.1

2. 安装

2.1 采用解压缩的方式安装

将压缩包生传到/home目录下,解压缩,进入,目录结构如下:

[root@node01 hbase-0.98.12.1-hadoop2]# ll
total 220
drwxr-xr-x.  4 root root   4096 May 18  2015 bin
-rw-r--r--.  1 root root 181540 May 18  2015 CHANGES.txt
drwxr-xr-x. ...

Read more

760-312-4663


目录结构:

  • 数据库安装

  • 同步插入,在pipelines文件中配置

  • 异步插入,在settings中配置

安装MySQL连接依赖包

使用pip install mysqlclient出错

尝试使用wheel包安装

第一步:安装wheel

pip intall wheel

第二步:下载wheel包

地址:/download.lfd.uci.edu/pythonlibs/o4uhg4xd/mysqlclient-1.3.13-cp36-cp36m-win_amd64.whl

其中cp代表对应python版本

下载好以后复制文件地址,用pip安装

pip install f...

Read more

Scrapy将item存入MongoDB


目录结构:

  • settings配置
  • pipelines编写

settings文件配置

# 配置MongoDB数据库地址和数据库名
MONGO_URI = '106.12.87.31'
MONGO_DATABASE = 'zhihu'

pipelines文件

import pymongo


class MongoPipeline(object):
    collection_name = 'users'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_...

Read more