2018年

一年又一年

时间太快了

14年进入东软做17CY项目，当时觉得17年好遥远，沈总买的房子16年下房，达达18年下房，好遥远的事情，如今现在都2018年了

展开全文 >>

Protocol Buffer 3.3.0 在Windows下的编译

由来：

一直做c++项目，类的序列化和反序列化一直是一个让人头疼的问题，由于实际操作比较简单枯燥，但c++从语法层面上并不能支持这一行为的自动化，所以看到了protobuf，网上对此评价也很高~~ 毕竟google造的嘛，于是，便进行尝试进行protobuf的编译。

开始

1.下载protobuf源码：

下载地址：https://github.com/google/protobuf/，各位看官可以自行处理。

2.解压后，按照cmake下的README.md进行处理，这里就只以solution进行示例，命令行自动编译类似：

2.1 先打开vs的命令行工具，按照帮助文件，执行如下命令：

mkdir build & cd build
mkdir solution & cd solution
cmake -G “Visual Studio 14 2015 Win64” -DCMAKE_INSTALL_PREFIX=../../../../install ../..
2.2 注意，直接运行cmake会遇到cmake不存在的问题，于是下载cmake安装即可（注意安装后重启命令行），附：https://cmake.org/ cmake官网

2.3 接着执行上面最后一个命令，仍然有问题（好事多磨嘛~）

按照提示打开CMakeError.log，看到提示：无法打开包括文件: “pthread.h”，额，好吧，windows下没有pthread库，下载之~ https://sourceware.org/pthreads-win32/#download，我下载的是 pthreads-w32-2-9-1-release（官网下载可能比较慢，可以选择其中的镜像进行下载）
后面想到当时命令行并没有添加include path的选项，所以即使使用了pthread也不太好配置（后面尝试了多种方式），后面又仔细看了下命令行输出（之前没太注意看命令行输出，只是直接看error文件，额 还是要仔细看看输出的~~），发现cmake终止是由于没有gmock。再看README中写到：

If the gmock directory does not exist, and you do not want to build protobuf unit tests,
you need to add cmake command argument -Dprotobuf_BUILD_TESTS=OFF to disable testing.
好吧，我不用测试，遂在命令行中加入-Dprotobuf_BUILD_TESTS=OFF。OK，居然过了。

2.4 直接通过vs进行编译，全程无报错~ 搞定

2.5 如果不通过vs编译，可以参照帮助，最后通过nmake进行编译~

展开全文 >>

redmine爬虫（1）

首先解决的是登陆问题，需要引入fill_login_form，再进行登陆。

下面是代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
import scrapy
from loginform import fill_login_form
from ScrapyLoginExample.items import PropertiesItem
from scrapy.loader import ItemLoader
import datetime
import socket
from scrapy.http import FormRequest
from scrapy.selector import Selector  

class MySpiderWithLogin(scrapy.Spider):
    name = 'login'

    start_urls = [
        # 'https://github.com/',
        'http://www.redmine.org/',
        # 'http://www.redmine.org/my/page',
        # 'http://www.redmine.org/projects/redmine/wiki',
        'http://www.redmine.org/issues/11120',


    ]

    # login_url = 'https://github.com/login'
    login_url = 'http://www.redmine.org/login'
    login_user = 'username'
    login_password = 'password'

    def start_requests(self):
        # let's start by sending a first request to login page
        yield scrapy.Request(self.login_url, self.parse_login)

    def parse_login(self, response):
        # got the login page, let's fill the login form...
        data, url, method = fill_login_form(
            response.url, response.body,
            self.login_user, self.login_password)

        # ... and send a request with our login data
        return FormRequest(url, formdata=dict(data),
                           # method=method, callback=self.start_crawl)
                           method=method, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'redmine-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse1)

    def parse1(self, response):
        page = response.url.split("/")[-2]
        filename = 'redmine-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

    def start_crawl(self, response):
        # OK, we're in, let's start crawling the protected pages

        item = ItemLoader(item=PropertiesItem(), response=response)

        # Load fields using XPath expressions
        print("0.1")
        print(response.body)
        print(item)
        print("0.2")
        item.add_xpath(
            # 'title', '//*[@id="repo_listing"]/li/a/span/span/text()')
            )

        item.add_value('url', response.url)
        item.add_value('project', self.settings.get('BOT_NAME'))
        item.add_value('spider', self.name)
        item.add_value('server', socket.gethostname())
        item.add_value('date', datetime.datetime.now())
        return item.load_item()

#登录成功后调用所要爬取的网址，start_urls中的网址逐一爬取  
    def after_login(self,response):
        # print("0")
        for u in self.start_urls:
            # print(u)
            yield  scrapy.Request(url=u,  
                           # meta={'cookiejar': response.meta['cookiejar']},  
                           callback=self.parse_details  
                           )
    #爬取对应的页面信息，单页信息  
    def parse_details(self,response):  
        #选择当前页面的所有信息

        item = ItemLoader(item=PropertiesItem(), response=response)

        # Load fields using XPath expressions
        print("0.1")
        print(item)
        print("0.2")

        sel=Selector(response)
        #解析出table中的所有tr  
        trItems=sel.xpath('//table[@class="table fn-mt-20"]//tr')  
        #解析tr中的所有数据  
        for tr in trItems:  
            self.PageIndex = self.PageIndex + 1  
            print ("===No." + str(self.PageIndex)+"=="  )
            tdItems = tr.xpath('//td/text()')  
            print (tdItems[0].extract().strip())  
            print (tdItems[1].extract().strip())  
            print (tdItems[2].extract().strip())  
            print (tdItems[3].extract().strip())  
            print (tdItems[4].extract().strip())  
            print (tdItems[5].extract().strip())  
            print (tdItems[6].extract().strip())  
            print (tdItems[7].extract().strip())  
            print (tdItems[8].extract().strip())  
        pass

展开全文 >>

将指定路径下的文件名和绝对轮径生成CSV文件

下面是代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
# -*- coding:utf-8 -*-
#coding=utf-8 
import os
import sys
import csv
import codecs
import wx

default_encoding = 'gbk'
if sys.getdefaultencoding() != default_encoding:
    reload(sys)
    sys.setdefaultencoding(default_encoding)

file_num=0

def search_file(path):  
    queue = []
    queue.append(path)
    file_list=[]
    while len(queue) > 0:  
        tmp = queue.pop(0)  
        if(os.path.isdir(tmp)):  
            for item in os.listdir(tmp):  
                queue.append(os.path.join(tmp, item))  
        elif(os.path.isfile(tmp)):
            file_data={}
            file_data['name']=os.path.basename(tmp)
            file_data['dirname']=os.path.dirname(tmp)
            file_list.append(file_data)
    return file_list

def do_findfile(path):
    global file_num
    file_list = search_file(path)
    print path[path.rfind("\\"):]
    csvfile = open(path[path.rfind("\\")+1:]+'.csv', 'w')
    # csvfile.write(codecs.BOM_UTF8)
    spamwriter = csv.writer(csvfile, delimiter=' ',
                            quotechar='|', quoting=csv.QUOTE_MINIMAL)
    spamwriter.writerow(['File Name', 'Fila Path'])
    file_num = len(file_list)
    for line in file_list:
        a = line['name']
        b = line['dirname']
        # print a + " " + b
        spamwriter.writerow([str(a), str(b)])

class HuoForm(wx.Frame):
    def __init__(self): 
        """Constructor"""
        wx.Frame.__init__(self, parent=None, title=u"文件名&路径toCSV", size = (300, 100))
        panel = HuoPanel(self, -1)

class HuoPanel(wx.Panel):
    def __init__(self, parent, id):

        wx.Panel.__init__(self, parent, -1, style=wx.TAB_TRAVERSAL|wx.CLIP_CHILDREN)
        self.loadButton = wx.Button(self, -1, u"选择文件夹",pos = (10, 10))
        self.st_file = wx.StaticText(self, -1, u"小明出品 Power by Xiaoming", pos=(110,15))
        self.Bind(wx.EVT_BUTTON, self.onLoadFile, self.loadButton)

    def onLoadFile(self, evt):
        global file_num
        dlg = wx.DirDialog(self, message=u"选择文件夹")
                            # style=wx.OPEN | wx.CHANGE_DIR )
        if dlg.ShowModal() == wx.ID_OK:
            path = dlg.GetPath()
            # print(path)
            do_findfile(path)
            wx.MessageBox(u"共"+str(file_num)+u"个文件", u"完成", wx.OK)
        dlg.Destroy()

class App(wx.App):
    """Application class."""

    def OnInit(self):
        # image = wx.Image('image.jpg', wx.BITMAP_TYPE_JPEG)
        self.frame = HuoForm()
        self.frame.Show()
        # self.SetTopWindow(self.frame)
        return True



def main():
    app = App()
    app.MainLoop()

if __name__ == '__main__':
    print(os.getcwd())
    main()

展开全文 >>

使用matplotlib中的quotes_historical_yahoo_ohlc打开股票信息

使用matplotlib中的quotes_historical_yahoo_ohlc打开股票信息

查了一下，使用matplotlib可以直接检索到股票信息。

API地址
http://matplotlib.org/api/finance_api.html?highlight=quotes_historical_yahoo_ohlc#matplotlib.finance.quotes_historical_yahoo_ohlc

下面是代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import matplotlib.pyplot as plt
 
from matplotlib.dates import DateFormatter, WeekdayLocator, DayLocator, MONDAY,YEARLY
from matplotlib.finance import quotes_historical_yahoo_ohlc, candlestick_ohlc
 
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
 
ticker = '600718' # 600718 是"东软集团"的股票代码
ticker += '.ss'   # .ss 表示上证 .sz表示深证
 
date1 = (2016, 2, 7) # 起始日期，格式：(年，月，日)元组
date2 = (2017, 2, 7)  # 结束日期，格式：(年，月，日)元组
 
 
mondays = WeekdayLocator(MONDAY)            # 主要刻度
alldays = DayLocator()                      # 次要刻度
#weekFormatter = DateFormatter('%b %d')     # 如：Jan 12
mondayFormatter = DateFormatter('%m-%d-%Y') # 如：2-29-2015
dayFormatter = DateFormatter('%d')          # 如：12
 
quotes = quotes_historical_yahoo_ohlc(ticker, date1, date2)
if len(quotes) == 0:
    raise SystemExit
 
fig, ax = plt.subplots()
fig.subplots_adjust(bottom=0.2)
 
ax.xaxis.set_major_locator(mondays)
ax.xaxis.set_minor_locator(alldays)
ax.xaxis.set_major_formatter(mondayFormatter)
#ax.xaxis.set_minor_formatter(dayFormatter)
 
#plot_day_summary(ax, quotes, ticksize=3)
candlestick_ohlc(ax, quotes, width=0.6, colorup='r', colordown='g')
 
ax.xaxis_date()
ax.autoscale_view()
plt.setp(plt.gca().get_xticklabels(), rotation=45, horizontalalignment='right')
 
ax.grid(True)
plt.title('东软集团 600718')
plt.show()

展开全文 >>

Tushare查询东软股票，用matplotlab显示

Tushare查询东软股票，用matplotlab显示

使用tushare

参考文档:http://tushare.waditu.com/

使用matplotlib

参考文档:http://matplotlib.org/

使用pandas的数据结构

需要参考pandas的数据结构

下面是代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import tushare as ts

a = ts.get_k_data('600718',start='2000-10-01')
list1=[]

for i in range(a.index[0],len(a.index)):
    list1.append(a['open'][i])

import matplotlib.pyplot as plt
from matplotlib.ticker import FuncFormatter, MaxNLocator

fig = plt.figure()
ax = fig.add_subplot(111)
xs = len(a.index)
ys_open = list1

ax.xaxis.set_major_locator(MaxNLocator(integer=True))
ax.plot( ys_open)

plt.title("600718")
plt.show()

展开全文 >>

moinmoin 在 ubuntu 16.04 server 版本中安装

moinmoin 在ubuntu 16.04 的安装

moinmoin是python写的一个wiki引擎. 应用广泛，支持多种扩展, 可二次开发。

python版本: python2.7 (monmoin目前是不支持python3)

安装python开发包与pip:

$sudo apt-get install python-dev python-pip

安装uwsgi:

$sudo pip install uwsgi

安装moinmoin

1
2
3
4
$sudo wget http://static.moinmo.in/files/moin-1.9.8.tar.gz
$sudo tar -xzvf moin-1.9.8.tar.gz
$sudo cd moin-1.9.8
$sudo python setup.py install --prefix=/usr/local

安装完之后，
moinmoin代码包位于 /usr/local/lib/python2.7/dist-packages/
moinmoin数据以及配置包位于 /usr/local/share/moin

配置moinmoin

1
2
3
$sudo cd /usr/local/share/moin
$sudo cp server/moin.wsgi .    #copy server目录下的sample配置到当前目录
$sudo vi moin.wsgi
# 添加以下两行。主要配置Moinmoin的代码与配置安装路径

1
2
sys.path.insert(0, '/usr/local/lib/python2.7/dist-packages/')
sys.path.insert(0, '/usr/local/share/moin/')

创建uwsgi.ini 配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 $sudo vi uwsgi.ini
 [uwsgi]
 uid = www-data      #配置运行Moinmoin的用户. www-data则是在安装完Moinmoin时创建的
 gid = www-data
 socket = /usr/local/share/moin/moin.sock    # 通过socket与nginx通信
 chmod-socket = 660
 logto = /var/log/uwsgi/uwsgi.log

chdir = /usr/local/share/moin/
wsgi-file = moin.wsgi           # uwsgi使用的wsgi文件. 

[master]
workers = 3
max-requests = 200
harakiri = 30
die-on-term

创建uwsgi log文件夹

1
2
$sudo mkdir -p /var/log/uwsgi
$sudo chown www-data /var/log/uwsgi

创建初始脚本用于启动moinmoin.

该脚本主要用于在server重启之后能够使用uwsgi来启动Moinmoin

1
2
3
4
5
6
7
8
9
$sudo vi /etc/init/moin.conf
description "moin uwsgi service"

start on runlevel [2345]
stop on runlevel [!2345]

chdir /usr/local/share/moin        # moinmoin安装位置
exec /usr/local/bin/uwsgi /usr/local/share/moin/uwsgi.ini     #uwsig与uwsgi.ini脚本位置
respawn

配置wiki

1
2
3
4
5
6
$sudo cd /usr/local/share/moin
$sudo cp config/wikiconfig.py .
$sudo vi wikiconfig.py
sitename = u'Wiki标题名字'
page_front_page = u"FrontPage"    # 出现头版
superuser = [u"WikiAdmin", ]         # 配置管理员

改变moin目录的Owner权限

1
2
$sudo chown -R www-data: /usr/local/share/moin
$sudo chmod -R o-rwx /usr/local/share/moin

启动moin

1
$sudo start moin

到目前为止，moinmoin已配置完成并已经启动了。接下来搭配nginx来使用wiki

安装nginx

1
$sudo apt-get install nginx

配置nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 $sudo cd /etc/nginx/sites-available
 $sudo vi moin
 server {
  listen 80;
  server_name localhost;

  access_log /var/log/nginx/access.log;
  error_log /var/log/nginx/error.log;

  location / {
      include uwsgi_params;
      uwsgi_pass unix:///usr/local/share/moin/moin.sock;    #转到uwsgi的socket
      uwsgi_modifier1 30;
  }
}

 $sudo cd /etc/nginx/sites-enabled
 $sudo ln -s ../sites-available/moin .
 $sudo rm default

启动nginx

1
$sudo service nginx restart

访问moinmoin

在浏览器输入服务器的地址就可以对moinmoin进行访问了

将moinmoin配置到服务器的子路径

以上基于服务器根路径的moinmoin就已经搭建好了，但是真正用的时候，还是不会把他放到根路径，所以下面就介绍部署到子路径的方法.

如果将moinmoin的路径配置在/wiki的路径，需要修改/etc/nginx/sites-available/moin 文件中

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
location ^~ /wiki {
        include uwsgi_params;
        uwsgi_pass unix:///usr/local/share/moin/moin.sock;    #转到uwsgi的socket
        uwsgi_param UWSGI_PYHOME /data/web/moinmoin/python-env/;
        uwsgi_param UWSGI_CHDIR /data/web/moinmoin/wiki/;
        uwsgi_param UWSGI_SCRIPT moin_wsgi;
        uwsgi_param SCRIPT_NAME /wiki;
        uwsgi_modifier1 30;
}

location ^~ /wiki/moin_static/ {      #moin_static wiki网页资源的位置,
        alias /data/web/moinmoin/python-env/lib/python2.7/site-packages/MoinMoin/web/static/htdocs/;
        add_header Cache-Control public;
        expires 20M;                  #将上传附件的大小限制到20M，如果不配置，默认上传大小是512K,很小的
}

还要需要wikiconfig.py，这个文件中的url_prefix_static是他的服务器路径前缀，需要在这里进行加入子路径的字符串。

1
2
$vi /usr/local/share/moin/wikiconfig.py
url_prefix_static = '/wiki' + url_prefix_static

启动服务

1
2
$sudo start moin
$sudo service nginx restart

访问服务器主机的子路径就可以访问到moinmoin了

p.s.最后发现moinmoin还是用的不爽，最后还是改成sphinx了。。。。这个文章就当做纪念吧

展开全文 >>

飞行模拟器

非要搞什么飞行模拟器，现在微软、EA出的游戏不是超级多了么，哎，都有没有童年，今天把本本带去，在展示了一下当年最喜欢玩的战地2~哎，毕竟人家也是个产品，都可以学习学习么~话说回来今天也搞了好多chart.js，小明助手又多了很多图形控制，开源真伟大啊~！！！

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

SYNU&Neusoft<br><br>PM&CCIE&Pythonic Coder<br> 小明