豪翔天下

Change My World by Program

0%

初看麦田里的守望者,我只看到一个满口脏话,觉得全世界都是傻逼,只有我是最纯洁的一个人。在看之前我并不了解这本书的历史背景,一直觉得这本书可能是90年代后的,不过看了几天后脑海中却始终浮现出一幅很老的画面,就像电视里美国刚开始有摄像机的无声电影一样,所有的人都穿着”老土”的服装,那是一个灯红酒绿、社会混乱,所有人都在寻找出路的时代,事实证明我是对的,此书出版于1951年,正是二战后美国的真实写照吧。

“一个不成熟的人的标志是他愿意为了某个理由而轰轰烈烈地死去,而一个成熟的人的标志是他愿意为了某个理由而谦恭地活下去。”这或许是此书最出名的一句话。不敢自谦,不过,正如我一直坚持的价值观一样:人,是可以平凡的。比如爱情,现在的社会本没有历史上那么轰轰烈烈,也不会有什么海枯石烂,最多相隔万里,那也能通过网络时时通讯。说的太多,感觉这段和此书的主题并无多大联系。

第一次接触意识流的小说,觉得有些晦涩,有些不解,但霍尔顿的世界可能每个人都经历过。比如我们的成长,每个人的成长或许都伴随着成年人的不理解,有的人在这过程中练就了挑战世界的本领,而有的人则在反抗的过程中渐渐成长为自己曾经讨厌的人。成长过程中,无论坚持了以我,还是改变了自我,都没有错,最终他们都会走向自己一样的人生,哪怕不是曾经希望的,但一个成年人可能更懂得珍惜现在。不是认命,而是认清了自己。

故事最后的结局也让人们争论不已,我想,霍尔顿现在已经长大了吧,理想被一个一个击破,到底是继续反抗世界还是改变自己,现在他已经知道答案了。

今年过年回家,我仿佛变成了故事里的男主角,愤世嫉俗,以前觉得没什么的事情今年却突然感觉十分愤怒。

为什么我今年回到家成天就感觉这里活着真累呀,错综复杂的亲戚关系,成天都担心着别人眼中自己的形象,遇到各种不公平待遇却又忍气吞声,明明讨厌的事情却又有各种原因不去拒绝。。。

这是我2月7日发表的一篇微博,怎么说呢,以前可能觉得这些离自己太远,所以没去在意。但是即将毕业的我,又碰巧在这个节骨眼到了谈婚论嫁的时刻,实在无法适应,只能边骂边去接受自己能接受的。只希望,明天的我,依然是我曾经喜欢的模样。

参考地址:http://dev.mysql.com/doc/refman/5.6/en/linux-installation-debian.html
不知道为什么很多地方的官网都把一个完整的包打散了,然后完整包和分开的包放在同一级目录里,我也是醉了,最终我还是找到了正确的安装方法。

  1. MySQL社区版官网下载地址:http://dev.mysql.com/downloads/mysql/
    需要注意的是,一定要下载结尾为.deb-bundle.tar的包,因为它包含了其它分开的包的所有数据

  2. 一步一步执行下列步骤就可以了:

    sudo apt-get install libaio1   // 安装基本的依赖
tar -xvf mysql-server_MVER-DVER_CPU.deb-bundle.tar   //解压
sudo dpkg -i mysql-common_MVER-DVER_CPU.deb   // 安装common文件
dpkg-preconfigure mysql-community-server_MVER-DVER_CPU.deb // 预配置,进行mysql的配置,这时候会要求输入root密码等
sudo dpkg -i mysql-community-server_MVER-DVER_CPU.deb    // 安装mysql-server
sudo dpkg -i mysql-community-client_MVER-DVER_CPU.deb    // 安装mysql-client
sudo dpkg -i libmysqlclient18_MVER-DVER_CPU.deb   // 安装公共库
  1. 收尾
    # 运行兼容检查工具,自动解决不兼容的问题
命令行执行mysql_upgrade -uroot -pmysql




不然可能会出现这些错误:
MySQL unknown column 'password_last_changed'
  1. So Easy

参考地址:http://369369.blog.51cto.com/319630/790921

原来想要简单地实现MySQL的主从复制其实也是很简单的(这里当然不包括服务监控和容错处理啦)

1.要检查主从服务器的MySQL版本,最好版本一致,不然会出现各种问题,特别是,5.5和5.6是不会兼容的

2.修改两个服务器的mysql配置vim /etc/my.cnf

1
2
3
[mysqld]
log-bin=mysql-bin // 打开二进制日志
server-id=41 // 服务器的唯一ID,为0表示拒绝所有从服务器的连接

分别修改两个服务器配置然后分别重启

3.主服务器建立账户:这个账户与普通账户不一样,它只能用于主从复制中:

1
mysql> GRANT REPLICATION SLAVE ON *.* to 'master'@'%' identified by 'mysql';

4.查看服务器状态

1
2
3
4
5
6
7
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File           | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000004 | 615261 |             |                 |                 |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

需要注意的是,这两个值都得记下来哟

5.将主服务器数据库dump然后导入到从服务器,记下了Position就不用担心dump后新增数据的情况,会自动同步的

6.配置从服务器

1
mysql> change master to master_host='192.168.1.41', master_user='xiaohao', master_password='mysql', master_log_file='mysql-bin.000004', master_log_pos=615261;  # 这里就是刚才的Position

7.启动从服务器

1
mysql> start slave;   # 同理,停止用stop slave

8.查看复制状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
mysql> show slave status\G  
**_*_****_*_****_*_****_*_* 1. row ****_*_****_*_****_*_******
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.1.41
Master_User: xiaohao
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000004
Read_Master_Log_Pos: 652289
Relay_Log_File: ubuntu-relay-bin.000002
Relay_Log_Pos: 37345
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:

必须保证Slave_IO_Running和Slave_SQL_Running都为Yes的时候才正确的

TroubleShooting:

  • 出现错误:Slave SQL for channel ‘’: Slave failed to initialize relay log info structure from the repository, Error_code: 1872是因为relay-log有问题,这时候修改从服务器mysql配置,在[mysqld]中加入relay-log-recovery=1,这样表示,服务器启动之后,删除所有已有的relay日志,重新接收主库的relay日志

基本概念

  • 进程: 资源分配的最小单位。
  • 线程: CPU调度的最小单位。
  • Python里面的多线程只能利用CPU的一个核(全局解释锁的历史原因)
  • 多线程一般来说比多进程快,毕竟共享内存,但是多线程也更危险,以为一个线程崩溃可能导致整个程序崩溃。

多线程

线程安全与线程不安全: 多个线程同时访问一个方法,得到的结果一样就是线程安全的,不一样则是线程不安全的。gevent库是基于事件驱动模型,它的线程是否安全完全看多线程程序是怎么写的,如果仅仅只有gevent一个线程那么不存在线程安全问题。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# 创建子线程
class Thread(threading.Thread):
def __init__(self, 变量):
threading.Thread.__init__(self)
self.变量 = 变量
def run(self):
逻辑
thread = Thread(参数) # 定义一个线程
thread.start() # 开启一个线程,此时子线程已经开始执行了,主线程不会被阻塞
thread.join() # 这样可以让主线程阻塞,一直等到子线程退出位置才会继续往下执行

# 常用方法
threading.activeCount() # 获取当前线程数量,可以用这个来控制线程最大的数量
threading.currentThread() # 获取当前线程对象
threading.currentThread().getName() # 获取当前线程的名称
exit() # 终止当前线程,网上好多人问怎么没有API,后来发现exit就行了...并不会影响到其它线程和主线程

# 线程锁,如果要修改全局变量,可以给全局变量加锁。
lock = threading.Lock()
lock.acquire()
xxxxx
lock.release()
# 更方便的使用:
lock = threading.Lock()
with lock:
xxxxxxx

# 局部变量。虽然局部变量简单的使用直接用就行,但是如果要在run里面进行各个函数之间的传递那就麻烦了,所以提供了ThreadLocal来将线程内部的局部变量变为一个字典,其它函数直接调用即可
LOCAL = threading.local() # 在全局定义,每个线程引用该值结果都仅仅会得到自己的私有变量
# 在Thread类里面的run函数赋值,不能在__init__里面定义,因为那时候线程还没启起来
LOCAL.变量名 = 值 # 就这样

多进程

os.fork()

直接fork一个进程

multiprocessing库

线程池/进程池

Pool

协程(asyncio)

位于标准库中,使用协程来编写单线程的并发,通过IO多路复用技术访问套接字。进程和线程都面临着内核态和用户态的切换问题而耗费许多切换时间,而协程则是用户自己控制切换时机,不需要进入内核态。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import asyncio

# 用装饰器来标记作为协程的函数
@asyncio.coroutine
def countdown(number, n):
while n > 0:
print('T-minus', n, '({})'.format(number))
yield from asyncio.sleep(1) # 这里会返回一个asyncio.Future对象并将其传递给时间循环,同时暂停这一协程的执行,时间循环监听这一对象,1秒钟后,时间循环会选择刚刚这个协程,将future对象的结果返回给它,然后协程继续执行。这一过程会持续到所有的协程程序全部完成。
n -= 1

loop = asyncio.get_event_loop()
tasks = [
asyncio.ensure_future(countdown("A", 2)),
asyncio.ensure_future(countdown("B", 3))]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

# 在3.5里面,有了新的语法,添加了types.coroutine修饰器
async def slow_operation(n): # 以这种方式定义协程,在协程里面不能有yield语句,只有return和await可以用于返回
await asyncio.sleep(1) # await接受的对象必须是awaitable对象,必须是定义了__await__()方法且这一方法必须返回一个不是协程的迭代器,协程本身也被认为是awaitable对象
print('Slow operation {} complete'.format(n))

async def main():
await asyncio.wait([
slow_operation(1),
slow_operation(2),
slow_operation(3),
])

loop = asyncio.get_event_loop()
loop.run_until_complete(main())
loop.close()

asyncio中使用requests

1
2
3
4
5
6
7
8
9
10
11
async def req(url):
loop = asyncio.get_event_loop()
await loop.run_in_executor(None, requests.get, url)

async def req2(url):
await req(url)

tasks = [req2(url1), req2(url2)]

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.await(tasks))

asyncio动态添加任务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
async def produce_task():
while True:
url = redis.pop()
asyncio.run_coroutine_threadsafe(req2(url), thread_loop) # 这里的req2参考上面的定义,是一个异步任务函数thread_loop是我们单独的一个事件循环

def start_loop(loop):
asyncio.set_event_loop(loop)
loop.run_forever()

# 单独启动了一个线程来做消费者
thread_loop = asyncio.new_event_loop()
run_loop_thread = Thrad(target=start_loop, args=(thread_loop,))
run_loop_thread.start()

# 主线程则直接进行事件循环
loop = asyncio.get_event_loop()
loop.run_until_complete(produce_task())

并发框架

concurrent.futures

该库通过相同的API同时支持线程与协程,以POOL的方式进行并行任务的管理。其中Executors用于管理workers,而futures则用于表示一个异步计算的结果,当调用future时会被立即返回,但是不一定就是最终结果。

ThreadPoolExcutor改为ProcessPoolExecutor就是线程了,真方便。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
# 来源: https://pymotw.com/3/concurrent.futures/
# 该例表示一个最大执行进程数为2个的执行器,同时处理5个任务
def task(n):
print('{}: sleeping {}'.format(
threading.current_thread().name,
n)
)
time.sleep(n / 10)
print('{}: done with {}'.format(
threading.current_thread().name,
n)
)
return n / 10

ex = futures.ThreadPoolExecutor(max_workers=2)
print('main: starting')
results = ex.map(task, range(5, 0, -1))
print('main: unprocessed results {}'.format(results)) # 这里返回的是一个迭代器
print('main: waiting for real results')
real_results = list(results)
print('main: results: {}'.format(real_results)) # 返回真实的结果

# map中函数如果需要多参数,可以这样做(只需要替换lambda中的函数名即可)
for result in ex.map(lambda p: task(*p), arguements_list):
print(result)

# 用map只能处理相同的任务,可以通过submit来执行需要执行的任务
from concurrent import futures
import threading
import time

def task(n):
print('{}: sleeping {}'.format(
threading.current_thread().name,
n)
)
time.sleep(n / 10)
print('{}: done with {}'.format(
threading.current_thread().name,
n)
)
return n / 10

ex = futures.ThreadPoolExecutor(max_workers=2)
print('main: starting')
f = ex.submit(task, 5)
print('main: future: {}'.format(f))
print('main: waiting for results')
result = f.result()
print('main: result: {}'.format(result))
print('main: future after result: {}'.format(f))

# 不按照顺序来获取结果,只要有个任务完成,就执行输出结果,上面那几个方法必须等所有任务执行完了顺序输出,而这个则是只要完成一个就输出一个
wait_for = [
ex.submit(task, i)
for i in range(5, 0, -1)
]
for f in futures.as_completed(wait_for):
print('main: result: {}'.format(f.result()))

回调

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
from concurrent import futures
import time

def task(n):
print('{}: sleeping'.format(n))
time.sleep(0.5)
print('{}: done'.format(n))
return n / 10

def done(fn):
if fn.cancelled():
print('{}: canceled'.format(fn.arg))
elif fn.done():
error = fn.exception()
if error:
print('{}: error returned: {}'.format(
fn.arg, error))
else:
result = fn.result()
print('{}: value returned: {}'.format(
fn.arg, result))

if __name__ == '__main__':
ex = futures.ThreadPoolExecutor(max_workers=2)
print('main: starting')
f = ex.submit(task, 5)
f.arg = 5
f.add_done_callback(done)
result = f.result()

任务的取消

Future只要还未开始就能被取消,f.cancel()

任务的异常

通过f.exception()可以获取到任务抛出了什么样的异常

gevent

协程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 最简单的使用
import gevent

def foo():
print('Running in foo')
gevent.sleep(0)
print('Explicit context switch to foo again')

def bar(abc):
print('Explicit context to bar')
gevent.sleep(0)
print('Implicit context switch back to bar')

gevent.joinall([ # 把gevent.spawn()放到joinall过后才会真正开始执行
gevent.spawn(foo),
gevent.spawn(bar, '参数'),
])

print('abc') # 这行代码会等待所有协程执行完了过后才会执行

多进程/线程下的常见问题

主线程监听子线程状态

我的解决方法是利用共享队列将子线程的信息等传入queue,类似创建一个flag变量,然后在主线程进行监听,例如,代码来自https://stackoverflow.com/questions/2829329/catch-a-threads-exception-in-the-caller-thread-in-python/2830127#2830127

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
class ExcThread(threading.Thread):
def __init__(self, bucket):
threading.Thread.__init__(self)
self.bucket = bucket
def run(self):
try:
raise Exception('An error occured here.')
except Exception:
self.bucket.put(sys.exc_info())
def main():
bucket = Queue.Queue()
thread_obj = ExcThread(bucket)
thread_obj.start()
while True:
try:
exc = bucket.get(block=False)
except Queue.Empty:
pass
else:
exc_type, exc_obj, exc_trace = exc
# deal with the exception
print exc_type, exc_obj
print exc_trace
thread_obj.join(0.1)
if thread_obj.isAlive():
continue
else:
break
if __name__ == '__main__':
main()

Atom

TroubleShooting

  • 使用Python3,直接在文件头添加#!/usr/local/bin/python3

  • atom-script输出中文出现unicodeerror错误,可以这样输出:

    import io, sys
    sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')
    sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')
    print ('中文')
    
  • 设置shadowsocks代理
    vim ~/.atom/.apmrc

    1
    2
    strict-ssl = false
    http-proxy = http://127.0.0.1:8090/proxy.pac

    apm config list查看是否设置成功

    1
    http-proxy = "http://127.0.0.1:8090/proxy.pac"

迁移MySQL的数据库目录,其实并不难呀

  1. 查看MySQL数据存放目录
    > show variables like '\%dir\%';
datadir的值就是mysql当前的存放目录,默认是/usr/local/mysql/data
  1. 进行迁移
    service mysqld stop
cp -r /usr/local/mysql/data/*  /path/to/mypath
  1. 修改配置
    chown mysql:mysql -R /path/to/mypath




# 修改/etc/my.cnf文件和/etc/init.d/mysqld文件,




将datadir的值更改为新目录
  1. 重启服务
    service mysqld start



创建型
1\. Factory Method(工厂方法)
2\. Abstract Factory(抽象工厂)
3\. Builder(建造者)
4\. Prototype(原型)
5\. Singleton(单例)

结构型
6\. Adapter Class/Object(适配器)
7\. Bridge(桥接)
8\. Composite(组合)
9\. Decorator(装饰)
10\. Facade(外观)
11\. Flyweight(享元)
12\. Proxy(代理)

行为型
13\. Interpreter(解释器)
14\. Template Method(模板方法)
15\. Chain of Responsibility(责任链)
16\. Command(命令)
17\. Iterator(迭代器)
18\. Mediator(中介者)
19\. Memento(备忘录)
20\. Observer(观察者)
21\. State(状态)
22\. Strategy(策略)
23\. Visitor(访问者)

创建型

  1. Factory Method(工厂方法)

意图:
定义一个用于创建对象的接口,让子类决定实例化哪一个类。Factory Method使一个类的实例化延迟到其子类。
适用性:
当一个类不知道它所必须创建的对象的类的时候。
当一个类希望由它的子类来指定它所创建的对象的时候。
当类将创建对象的职责委托给多个帮助子类中的某一个,并且你希望将哪一个帮助子类是代理者这一信息局部化的时候。

  1. Abstract Factory(抽象工厂)

意图:
提供一个创建一系列相关或相互依赖对象的接口,而无需指定它们具体的类。

适用性:
一个系统要独立于它的产品的创建、组合和表示时。
一个系统要由多个产品系列中的一个来配置时。
当你要强调一系列相关的产品对象的设计以便进行联合使用时。
当你提供一个产品类库,而只想显示它们的接口而不是实现时。

  1. Builder(建造者)

意图:
将一个复杂对象的构建与它的表示分离,使得同样的构建过程可以创建不同的表示。

适用性:
当创建复杂对象的算法应该独立于该对象的组成部分以及它们的装配方式时。
当构造过程必须允许被构造的对象有不同的表示时。

  1. Prototype(原型)

意图:
用原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象。

适用性:
当要实例化的类是在运行时刻指定时,例如,通过动态装载;或者
为了避免创建一个与产品类层次平行的工厂类层次时;或者
当一个类的实例只能有几个不同状态组合中的一种时。建立相应数目的原型并克隆它们可能比每次用合适的状态手工实例化该类更方便一些。

  1. Singleton(单例)
    意图:
    保证一个类仅有一个实例,并提供一个访问它的全局访问点。

适用性:
当类只能有一个实例而且客户可以从一个众所周知的访问点访问它时。
当这个唯一实例应该是通过子类化可扩展的,并且客户应该无需更改代码就能使用一个扩展的实例时。

  1. Adapter Class/Object(适配器)

意图:
将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。

适用性:
你想使用一个已经存在的类,而它的接口不符合你的需求。
你想创建一个可以复用的类,该类可以与其他不相关的类或不可预见的类(即那些接口可能不一定兼容的类)协同工作。
(仅适用于对象Adapter)你想使用一些已经存在的子类,但是不可能对每一个都进行子类化以匹配它们的接口。对象适配器可以适配它的父类接口。

  1. Bridge(桥接)

意图:
将抽象部分与它的实现部分分离,使它们都可以独立地变化。

适用性:
你不希望在抽象和它的实现部分之间有一个固定的绑定关系。例如这种情况可能是因为,在程序运行时刻实现部分应可以被选择或者切换。
类的抽象以及它的实现都应该可以通过生成子类的方法加以扩充。这时Bridge模式使你可以对不同的抽象接口和实现部分进行组合,并分别对它们进行扩充。
对一个抽象的实现部分的修改应对客户不产生影响,即客户的代码不必重新编译。
(C++)你想对客户完全隐藏抽象的实现部分。在C++中,类的表示在类接口中是可见的。
有许多类要生成。这样一种类层次结构说明你必须将一个对象分解成两个部分。Rumbaugh称这种类层次结构为“嵌套的普化”(nested
generalizations )。
你想在多个对象间共享实现(可能使用引用计数),但同时要求客户并不知道这一点。一个简单的例子便是Coplien的String类[ Cop92
],在这个类中多个对象可以共享同一个字符串表示(StringRep)。

  1. Composite(组合)

意图:
将对象组合成树形结构以表示“部分-整体”的层次结构。C o m p o s i t e 使得用户对单个对象和组合对象的使用具有一致性。

适用性:
你想表示对象的部分-整体层次结构。
你希望用户忽略组合对象与单个对象的不同,用户将统一地使用组合结构中的所有对象。

  1. Decorator(装饰)

意图:
动态地给一个对象添加一些额外的职责。就增加功能来说,Decorator模式相比生成子类更为灵活。

适用性:
在不影响其他对象的情况下,以动态、透明的方式给单个对象添加职责。
处理那些可以撤消的职责。
当不能采用生成子类的方法进行扩充时。一种情况是,可能有大量独立的扩展,为支持每一种组合将产生大量的子类,使得子类数目呈爆炸性增长。另一种情况可能是因为类定义
被隐藏,或类定义不能用于生成子类。

  1. Facade(外观)

意图:
为子系统中的一组接口提供一个一致的界面,Facade模式定义了一个高层接口,这个接口使得这一子系统更加容易使用。

适用性:
当你要为一个复杂子系统提供一个简单接口时。子系统往往因为不断演化而变得越来越复杂。大多数模式使用时都会产生更多更小的类。这使得子系统更具可重用性,也更容易对
子系统进行定制,但这也给那些不需要定制子系统的用户带来一些使用上的困难。Facade可以提供一个简单的缺省视图,这一视图对大多数用户来说已经足够,而那些需要
更多的可定制性的用户可以越过facade层。
客户程序与抽象类的实现部分之间存在着很大的依赖性。引入facade将这个子系统与客户以及其他的子系统分离,可以提高子系统的独立性和可移植性。
当你需要构建一个层次结构的子系统时,使用facade模式定义子系统中每层的入口点。如果子系统之间是相互依赖的,你可以让它们仅通过facade进行通讯,从而简
化了它们之间的依赖关系。

  1. Flyweight(享元)

意图:
运用共享技术有效地支持大量细粒度的对象。

适用性:
一个应用程序使用了大量的对象。
完全由于使用大量的对象,造成很大的存储开销。
对象的大多数状态都可变为外部状态。
如果删除对象的外部状态,那么可以用相对较少的共享对象取代很多组对象。
应用程序不依赖于对象标识。由于Flyweight对象可以被共享,对于概念上明显有别的对象,标识测试将返回真值。

  1. Proxy(代理)

意图:
为其他对象提供一种代理以控制对这个对象的访问。

适用性:
在需要用比较通用和复杂的对象指针代替简单的指针的时,使用Proxy模式。下面是一些可以使用Proxy模式常见情况:

  1. 远程代理(Remote Proxy)为一个对象在不同的地址空间提供局部代表。
    NEXTSTEP[Add94]使用NXProxy类实现了这一目的。Coplien[Cop92]称这种代理为“大使”(Ambassador)。
    2 )虚代理(Virtual Proxy)根据需要创建开销很大的对象。在动机一节描述的ImageProxy就是这样一种代理的例子。
  2. 保护代理(Protection Proxy)控制对原始对象的访问。保护代理用于对象应该有不同的访问权限的时候。例如,在Choices操作系统[
    CIRM93]中KemelProxies为操作系统对象提供了访问保护。
    4 )智能指引(Smart Reference)取代了简单的指针,它在访问对象时执行一些附加操作。它的典型用途包括:

对指向实际对象的引用计数,这样当该对象没有引用时,可以自动释放它(也称为SmartPointers[Ede92 ] )。
当第一次引用一个持久对象时,将它装入内存。
在访问一个实际对象前,检查是否已经锁定了它,以确保其他对象不能改变它。

  1. Interpreter(解释器)

意图:
给定一个语言,定义它的文法的一种表示,并定义一个解释器,这个解释器使用该表示来解释语言中的句子。

适用性:
当有一个语言需要解释执行,并且你可将该语言中的句子表示为一个抽象语法树时,可使用解释器模式。而当存在以下情况时该模式效果最好:

该文法简单对于复杂的文法,文法的类层次变得庞大而无法管理。此时语法分析程序生成器这样的工具是更好的选择。它们无需构建抽象语法树即可解释表达式,这样可以节省空
间而且还可能节省时间。

效率不是一个关键问题最高效的解释器通常不是通过直接解释语法分析树实现的,而是首先将它们转换成另一种形式。例如,正则表达式通常被转换成状态机。但即使在这种情况
下,转换器仍可用解释器模式实现,该模式仍是有用的。

  1. Template Method(模板方法)

意图:
定义一个操作中的算法的骨架,而将一些步骤延迟到子类中。TemplateMethod使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。

适用性:
一次性实现一个算法的不变的部分,并将可变的行为留给子类来实现。
各子类中公共的行为应被提取出来并集中到一个公共父类中以避免代码重复。这是Opdyke和Johnson所描述过的“重分解以一般化”的一个很好的例子[ OJ93
]。首先识别现有代码中的不同之处,并且将不同之处分离为新的操作。最后,用一个调用这些新的操作的模板方法来替换这些不同的代码。
控制子类扩展。模板方法只在特定点调用“hook ”操作(参见效果一节),这样就只允许在这些点进行扩展。

  1. Chain of Responsibility(责任链)

意图:
使多个对象都有机会处理请求,从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理它为止。

适用性:
有多个的对象可以处理一个请求,哪个对象处理该请求运行时刻自动确定。
你想在不明确指定接收者的情况下,向多个对象中的一个提交一个请求。
可处理一个请求的对象集合应被动态指定。

  1. Command(命令)

意图:
将一个请求封装为一个对象,从而使你可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤消的操作。

适用性:
抽象出待执行的动作以参数化某对象,你可用过程语言中的回调(call
back)函数表达这种参数化机制。所谓回调函数是指函数先在某处注册,而它将在稍后某个需要的时候被调用。Command模式是回调机制的一个面向对象的替代品。
在不同的时刻指定、排列和执行请求。一个Command对象可以有一个与初始请求无关的生存期。如果一个请求的接收者可用一种与地址空间无关的方式表达,那么就可将负
责该请求的命令对象传送给另一个不同的进程并在那儿实现该请求。
支持取消操作。Command的Excute操作可在实施操作前将状态存储起来,在取消操作时这个状态用来消除该操作的影响。Command接口必须添加一个Unex
ecute操作,该操作取消上一次Execute调用的效果。执行的命令被存储在一个历史列表中。可通过向后和向前遍历这一列表并分别调用Unexecute和Exe
cute来实现重数不限的“取消”和“重做”。
支持修改日志,这样当系统崩溃时,这些修改可以被重做一遍。在Command接口中添加装载操作和存储操作,可以用来保持变动的一个一致的修改日志。从崩溃中恢复的过
程包括从磁盘中重新读入记录下来的命令并用Execute操作重新执行它们。
用构建在原语操作上的高层操作构造一个系统。这样一种结构在支持事务( transaction)的信息系统中很常见。一个事务封装了对数据的一组变动。Comman
d模式提供了对事务进行建模的方法。Command有一个公共的接口,使得你可以用同一种方式调用所有的事务。同时使用该模式也易于添加新事务以扩展系统。

  1. Iterator(迭代器)

意图:
提供一种方法顺序访问一个聚合对象中各个元素,而又不需暴露该对象的内部表示。

适用性:
访问一个聚合对象的内容而无需暴露它的内部表示。
支持对聚合对象的多种遍历。
为遍历不同的聚合结构提供一个统一的接口(即,支持多态迭代)。

  1. Mediator(中介者)

意图:
用一个中介对象来封装一系列的对象交互。中介者使各对象不需要显式地相互引用,从而使其耦合松散,而且可以独立地改变它们之间的交互。

适用性:
一组对象以定义良好但是复杂的方式进行通信。产生的相互依赖关系结构混乱且难以理解。
一个对象引用其他很多对象并且直接与这些对象通信,导致难以复用该对象。
想定制一个分布在多个类中的行为,而又不想生成太多的子类。

  1. Memento(备忘录)

意图:
在不破坏封装性的前提下,捕获一个对象的内部状态,并在该对象之外保存这个状态。这样以后就可将该对象恢复到原先保存的状态。

适用性:
必须保存一个对象在某一个时刻的(部分)状态,这样以后需要时它才能恢复到先前的状态。
如果一个用接口来让其它对象直接得到这些状态,将会暴露对象的实现细节并破坏对象的封装性。

  1. Observer(观察者)

意图:
定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。

适用性:
当一个抽象模型有两个方面,其中一个方面依赖于另一方面。将这二者封装在独立的对象中以使它们可以各自独立地改变和复用。
当对一个对象的改变需要同时改变其它对象,而不知道具体有多少对象有待改变。
当一个对象必须通知其它对象,而它又不能假定其它对象是谁。换言之,你不希望这些对象是紧密耦合的。

  1. State(状态)

意图:
允许一个对象在其内部状态改变时改变它的行为。对象看起来似乎修改了它的类。

适用性:
一个对象的行为取决于它的状态,并且它必须在运行时刻根据状态改变它的行为。
一个操作中含有庞大的多分支的条件语句,且这些分支依赖于该对象的状态。这个状态通常用一个或多个枚举常量表示。通常,有多个操作包含这一相同的条件结构。State
模式将每一个条件分支放入一个独立的类中。这使得你可以根据对象自身的情况将对象的状态作为一个对象,这一对象可以不依赖于其他对象而独立变化。

  1. Strategy(策略)

意图:
定义一系列的算法,把它们一个个封装起来,并且使它们可相互替换。本模式使得算法可独立于使用它的客户而变化。

适用性:
许多相关的类仅仅是行为有异。“策略”提供了一种用多个行为中的一个行为来配置一个类的方法。
需要使用一个算法的不同变体。例如,你可能会定义一些反映不同的空间/时间权衡的算法。当这些变体实现为一个算法的类层次时[H087] ,可以使用策略模式。
算法使用客户不应该知道的数据。可使用策略模式以避免暴露复杂的、与算法相关的数据结构。
一个类定义了多种行为,并且这些行为在这个类的操作中以多个条件语句的形式出现。将相关的条件分支移入它们各自的Strategy类中以代替这些条件语句。

  1. Visitor(访问者)

意图:
定义一个操作中的算法的骨架,而将一些步骤延迟到子类中。TemplateMethod使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。

适用性:
一次性实现一个算法的不变的部分,并将可变的行为留给子类来实现。
各子类中公共的行为应被提取出来并集中到一个公共父类中以避免代码重复。这是Opdyke和Johnson所描述过的“重分解以一般化”的一个很好的例子[OJ93]
。首先识别现有代码中的不同之处,并且将不同之处分离为新的操作。最后,用一个调用这些新的操作的模板方法来替换这些不同的代码。
控制子类扩展。模板方法只在特定点调用“hook ”操作(参见效果一节),这样就只允许在这些点进行扩展。

参考地址:

  • 数据库分析调优步骤
    1.将sql语句记录下来
2.看查询更新的比例(如果太多,可以抽样查看)
3.看最多查询的数据表有哪些,最多更新的数据表有哪些
4.看最多查询的数据表最多查询的SQL是什么样子的,最多更新的数据表最多执行的SQL语句是怎样的,算出各自每秒的请求频率
5.关键分析,最多查询的SQL,基于同一主键查询的比例多不多(看能不能缓存化)
6.应对大翻页的问题,其实是不需要精确的返回结果数的,像淘宝这些都不会超过100页的
  • 数据库配置:
    innodb_read_io_threads/innodb_write_io_threads:这两个参数指Innodb数据库读写的IO进程数,默认为4
  • 慢查询日志:
    # 开启慢查询
> show variables like 'slow_query_log'   # 查看是否开起慢查询
> set global slow_query_log_file = ''
> set global log_queries_not_using_indexes = on
> set global long_query_time = 1
  • 分库分表
    表的垂直拆分:把原来一个有很多列的表拆分成多个表,解决了表宽的问题,通常,把不常用的字段单独存放到一个表中,大字段单独存放,一起使用的字段一起存放

  • 语句分析:使用explan查询SQL的执行计划

  • 其它工具

    Mysqldumpslow:慢查询日志的分析工具

架构

  • 一般把读取的请求放在缓存(Redis),而更新请求放在数据库

触发器

一定要慎用目前主流DBMS都支持的触发器功能,一方面由于触发器的性能开销较大,另一方面,触发器的多级触发不好控制,容易发生错误。

视图

为了在数据库和应用程序代码之间提供另一层抽象,可以为应用程序建立专门的视图而不必非要应用程序直接访问数据表。这样做还等于在处理数据库变更时给你提供了更多的自由。

存储过程

不要写,尽量将业务逻辑放在应用服务中。

分库分表

水平切分

水平切分的切分标准可以按照数据范围分,比如1-100万一个表,100万-200万又是一个表;也可以按照时间顺序来切分,比如一年的数据归到一张表中等;也可以按照地域范围来分,比如按照地市来分,每个或多个地市一个库等;也可以按照某种计算公式来切分,比较简单的比如取模的方式,如根据用户id进行水平切分,可通过对ID被2取模,然后分别存放在不同的表中,这样关联时也非常方便。公司著名的凤巢拆库就是采用取模方式进行的拆分。

字段属性

  • datetime和timestamp能保存同样类型的数据:日期和时间,精度为秒。然而,timestamp使用的空间只有datetime一半,还能保存时区,拥有特殊的自动更新能力。
  • 使用整数来保存IP地址。
  • 有符号(signed)和无符号(unsigned)类型占用的存储空间是一样的,性能也一样。因此可以根据实际情况采用合适的类型。
  • MySQL还可以对整数类型定义宽度,比如int(11)。这对于大多数应用程序都是没有意义的:它不会限制值的范围,只规定了MySQL交互工具(如命令行客户端)用来显示字符的个数。对于存储和计算,int(1)和int(20)是一样的。
  • char是固定长度的。MySQL总是为特定数量的字符分配足够的空间。当保存char值的时候,MySQL会去掉任何末尾的空格。

关于索引

  • 数据查询只能用到一个索引,不过这个只是说的是单表查询,联表查询实际上每个表都可以用到其独立的索引

  • 有些时候索引并不会用到,比如
    where key like ‘keyword%‘:这里可以用到key索引
    where key like ‘%keyword%‘:这里用不到key的索引

    • 适当建立复合索引:
      前几天看了“caoz的梦呓”的文章《如何应对并发(1) - 关于数据索引》,理解了建立复合索引所需要考虑的一些东西,顺序不同效率也有很大的不同。
      ‘SELECT * FROM user where area = ‘$area’ order by lastlogin desc limit 30;’
      如果只把area当做索引,那么数据库会把符合这个area的所有结果都拿出来,然后按照lastlogin来进行排序;
      如果只把lastlogin做为索引,那么数据库会从最后一条开始往前遍历,每条都会对比area,直到数出30条
      如果lastlogin+area建立符合,和单独lastlogin索引是一样的
      如果area+lastlogin,把两个字段拼接然后排好序后,看这条SQL在这个数列中查询的提现,所命中的完全是连续的30条,仅仅遍历30条索引即可
      我最先以为简历复合索引也会是先查找出area,再拿出来排序哟,但其实索引都是预先排好了的,这里就相当于先按照area排序,area相同的再按照lastlog
      in进行排序,这样,只要找到area,然后取前面30条就可以了,就像电话簿一样,先找姓氏,姓氏相同的也会按照名排好序的。

在Docker里面,镜像和容器是两个概念,镜像类似操作系统的ISO,而容器则是以该ISO为基础生成而来的。

系统相关

安装方法

boot2docker默认用户名是docker,密码是tcuser

现在docker for mac不再依赖virtualbox等虚拟化软件,但是其采用了虚拟化技术,仍然是有虚拟机的,可以通过这条命令进入虚拟机查看``screen ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/tty 

镜像和容器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
docker pull ubuntu:14.04.1 # 拉取官方镜像
docker pull registry.hub.docker.com/ubuntu:14.04 # 拉取特定网站的镜像
docker pull index.alauda.cn/library/centos:centos6.6 # 灵雀云的镜像,镜像中心https://hub.alauda.cn/
docker images # 列出所有的镜像

docker ps # 列出正在运行的容器
docker ps -a -s # 列出所有容器,-s可以列出大小信息
docker ps -q # 只列出容器的ID

docker rm # 删除容器
docker rmi # 删除镜像
docker builder prune # 清理创建失败的镜像的layer

docker tag id name:tag # 给镜像更改名称,重命名镜像Tag

创建容器

阅读全文 »