18 November 2013

##/swift/common/manager.py

SOME VARIABLE YOU MAY CONFUSED:

 Manage     : self.servers: [set] 每个元素是 (server,run_dir)
 Server     : self.servers: name
 server_pids: [dict] server:pids(dict)
 kwargs     : [dict] it frome the swift-init, the options of argments. **********************************

###def setup_env() 功能 : 限制pid对资源的消耗参数 : 无实现 : 通过resource.setlimit限制了：进程堆打开最大存储当前进程打开的文件的最大的描述返回 : 无关系 : 模块recource

###def watch_server_pids(server_pids, interval=1, kwargs) 功能 : 在interval间隔内监控server结束。参数 : server_pids: [dict] server: pids[list] interval = 1: [int] kwargs: [dic] 实现 : 对server_pids中的每一个pids中的每一个pid, 1.等待pid结束。 2.得到当前运行的进程，已经停止的进程加入迭代器， 3.更新用status[server]中的pids更新server_pids[server]。 if 没有运行的pid或者当前时间超过了指定的时间间隔。就终止。 else 休眠0.1秒继续。返回 : 返回已经停止的(server pid) 关系 : os.waitpid() 注 : 这个函数有跨平台的问题

###def command() 功能 : 命令调用的装饰器参数 : func : function 实现 : 调用functools.wraps装饰器返回 : 函数对象关系 : 模块functools.wraps

class Manage

####封装Server来管理多个服务的start status stop shutdown 等

###def init(self,servers, run_dir=RUN_DIR) 功能 : 初始化servers 参数 : servers [list] : 服务名称 run_dir [str] : default=RUN_DIR 实现 : 根据servers来初始化self.servers,支持通配符返回 : 无关系 : 无

###def status(self, kwargs) 功能 : servers状态参数 : kwargs [dict] : options字典实现 : 调用servers.status来决定状态返回 : 如果服务在全部运行，返回0，如果其中有一个服务不在运行，返回1 关系 : server.status

###def start(self, kwargs) 功能 : 开始self.server 参数 : kwargs [dict] : options字典。实现 : 启动self.servers中的所有服务, if 已经启动就输出服务已经启动， else 就启动配置目录中所有服务。 kwargs[daemon]=False 调用server.interact()，父进程会等待子进程结束，除非相应键盘中断,停止当前服务。 kwargs[wait]=True或’’ 调用server.wait()，一个服务启动后又启动下一个服务返回 : status, 关系 : server.launch() server.interact() server.wait() 注 : daemon wait ： server.wait() no_daemon wait：server.interact() no_daemon no_wait：Server.interact() daemon no_wait： server.launch()

###def no_wait(self, kwargs): 功能 : no_wait方式启动服务,几个服务同时启动。参数 : kwargs [dict] : options字典。实现 : 设置kwargs[wait]=False 调用self.start() 返回 : status 关系 : self.start()

###def no_daemon(self, kwargs): 功能 : no_daemon方式启动self.server 参数 : kwargs [dict] : options字典。实现 : 设置kwargs[daemon]=False 调用self.start() 返回 : status 关系 : self.start()

###def once(self, kwargs): 功能 : once方式启动self.server,启动一次参数 : kwargs [dict] : options字典。实现 : 设置kwargs[once]=Ture 调用self.start() 返回 : status 关系 : self.start()

###def stop(self, kwargs) 功能 : 给self.server发送SIGTERM信号参数 : conf_file [str] : 配置文件（全路径）实现 : 1.对指定的服务调用stop(),得到stop的signal_pids. if signal_pids为空, 输出no server running else server_pids=signal_pids, server_pids为正常停止的服务dict。 2.得到全部正常stop的pid signal_pids， 3.监控在kwargs[kill_wait]时间内结束的server,pid,并加到killed_pids中。如果killed_pids和signal_pids相同，则返回0.进程结束。 4.遍历server_pids,如果某个服务的pid不在killed_pids中，就输出提示信息。返回1.

返回    : 如果在kwargs[kill_wait]时间，所有服务已经停止，则返回0，否则返回1.
关系    : server.stop() dict.symmetric_difference() dict.issuperset()

###def shutdown(self, kwargs) 功能 : 给self.server发送SIGHUP信号参数 : kwargs [dict] : options字典。实现 : 设置kwargs[graceful]=Ture 调用self.stop() 返回 : 所有服务都接受SIGHUP, 如果kwargs[kill_wait]时间内，已经停止，则返回0，否则返回1. 关系 : self.stop()

###def restart(self, kwargs): 功能 : 停止self.server，又开启self.server. 参数 : kwargs [dict] : options字典。实现 : 停止self.server 开启self.server 返回 : 如果在规定时间内stop所有服务，又能开启所有服务，返回0，否则,返回1 关系 : self.stop() self.start()

###def reload(self, kwargs): 功能 : 对self.server中每个服务，先stop,后start. 参数 : kwargs [dict] : options字典。实现 : kwargs[graceful]=True 对self.server中的每个服务server 停止server 开启server 返回 : 如果在规定时间内stop所有服务，又能开启所有服务，返回0，否则,返回1 关系 : self.stop() self.start()

###def force_reload(self, kwargs): 功能 : 对self.server中每个服务，先stop,后start. 参数 : kwargs [dict] : options字典。实现 : 与reload()相同返回 : 如果在规定时间内stop所有服务，又能开启所有服务，返回0，否则,返回1 关系 : self.reload()

###def get_command(self, cmd): 功能 : 检验cmd是否是合法的command 参数 : cmd [str] 实现 : cmd是否是Manager的属性 cmd是否有publicly_accessible=True 返回 : 返回cmd,如果具有publicly_accessible属性的命令。关系 : 无。

###def list_commands(cls): 功能 : 列出所有可运行的命令参数 : cls [class] Manger 实现 : 列出Manager中有publicly_accessible的所有命令。返回 : 返回所有属性,如果cmd具有publicly_accessible属性的命令。关系 : self.get_method()

###def run_command(self, cmd, kwargs): 功能 : 列出所有可运行的命令参数 : cmd [str] : 命令 kwargs [dict] : options字典。实现 : 如果是命令，则调用相应的命令函数。返回 : 返回类属性关系 : self.get_method()

class Server

####单个服务的start status launch wait等

###def init(self, server, run_dir=RUN_DIR) 功能 : 初始化服务参数 : servers [list] : 服务名称 run_dir [str] : default=RUN_DIR 实现 : 初始化各变量。 self.type : 如init proxy object等 self.procs: 子进程返回 : 返回pid文件列表关系 : 无注 : 为什么引入self.type?

###def str(self) 功能 : s=Server(), 修改print s 和 Server.str() 参数 : 无实现 : 略返回 : self.server 关系 : 无

###def repr(self) 功能 : s=Server(), 修改除str之外的输出属性参数 : 无实现 : 略返回 : 略关系 : 无

###def hash(self) 功能 : 暂定参数 : 无实现 : 略返回 : 略关系 : 无

###def eq(self) 功能 : 修改服务“==”属性参数 : 无实现 : 略返回 : 略关系 : 无

###def get_pid_file_name(self, conf_file): 功能 : 将相应的配置文件转为pid文件参数 : conf_file [str] : 配置文件（全路径）实现 : 将文件的配置目录替换为运行目录将文件的扩展由.conf替换为.pid 返回 : pid文件列表关系 : 无

###def get_conf_file_name(self, pid_file): 功能 : 将相应的pid文件转为配置文件参数 : pid_file [str] : pid文件（全路径）实现 : 将文件的目录替换为配置目录将文件的扩展由.pid替换为.conf 返回 : 配置文件列表关系 : 无

###def conf_files(self, kwargs): 功能 : 找到对应编号的配置文件，或全部配置文件参数: kwargs [dict] : number quiet verbose 实现 : 从配置目录中找到swift相关的所有配置文件（.conf）。
1.如果kwargs的key中有number，则只返回第number个配置文件否则返回全部的配置文件 2.如果没有找到配置文件，根据kwargs的key中的quiet和verbose 决定是否输出具体信息返回 : 配置文件如果不存在，就返回None 关系 : search_tree()

###def pid_files(self, kwargs): 功能 : 得到pid文件参数 : kwargs [dict] : number 实现 : 搜寻run_dir,找到所有当前服务的pid文件。如果kwargs的key中number不为0，并且如果pid_file有对应的conf_file在conf_files中，则返回对应conf文件的pid文件否则，kwargs[number]=0,返回全部的pid文件返回 : pid文件列表，可能是0,1或者多个关系 : search_tree() get_config_file_name(self)

###def iter_pid_files(self, kwargs): 功能 : 得到pid文件名和pid 参数 : kwargs [dict] : number 实现 : 返回pid文件的迭代器返回 : pid文件名和pid 关系 : pid_file(self)

###def signal_pids(self, sig, kwargs): 功能 : 给pid发送sig信号参数 : sig [signal] : 信号 kwargs [dict] : pid_file pid 实现 : 对指定的pid发送sig信号，os.kill(pid,sig) 异常：对不存在的pid和权限控制返回 : pids字典，key为pid，value为文件名,发送sig的成功的进程关系 : remove_file() os.kill() signal

###def get_running_pids(self, kwargs): 功能 : 得到运行的pid,实际是kwargs中server对应pid发信号。参数 : kwargs [dict] : verbose 实现 : 简单调用signal_pids(signal.SIG_DFL,kwargs) signal_pids()例子返回 : 返回pids字典，key为pid，value为文件名,发送sig的成功的进程关系 : signal_pids(self)

###def kill_running_pids(self, kwargs): 功能 : 杀死正在运行的pid. 参数 : kwargs [dict] : graceful 实现 : 如果是kwargs[graceful]=True 并且在 GRACEFUL_SHUTDOWN_SERVERS中就发送 SIGHUP信号否则，发送SIGTERM信号返回 : pids字典，key为pid，value为文件名,正常kill进程关系 : self.signal_pids()

###def status(self, pids=None, kwargs): 功能 : 显示服务的状态参数 : pid [int] : pid 号 kwargs [dict] : graceful 实现 : if pids==None: 发送 signal.SIG_DFL信号 if pids == False: 返回1 else : 输出正在运行的pid号及配置文件返回 : 如果在运行，返回0, 如果不在运行返回1. 关系 : self.get_running_pids(), self.conf_files

###def spawn(self, conf_file, once=False, wait=True,daemon=True, kwargs) 功能 : 启动子进程参数 : conf_file [str] : 配置文件名 kwargs [dict] : graceful once [boolen] : if True once增加到args. wait [boolen] : if True args增加verbose,修改标准输出的出口。 daemon [boolen] : 修改标准错误和标准输出的出口实现： if daemon False: args增加versbose属性, 标准输出和标准错误重定向到None。 if daemon True: 标准错误重定向到子进程标准输出 if wait = True : 标准输出重定向到子进程管道. else 标准输出重定向到os.devnull

返回    : 子进程的pid
关系    : subprocess.Popen() write_file()

###def wait(self, kwargs): 功能 : 等待子进程开始参数 : kwargs [dict] : graceful 实现 : 对每一个子进程， if 内容不为空，就输出内容， if 在 WARNING_WAIT时间内子进程退出，就将退出状态加到status. else，继续执行。 else，继续下一个子进程。返回 : status,没有子进程退出,返回0, 有子进程终止,返回终止的个数关系 : Popen.stdout.read() Popen.poll()

###def interact(self, kwargs) 功能 : 父进程会等待子进程终止参数 : kwargs [dict] : graceful 实现 : 对每一个子进程，调用子进程的communicate()。返回 : status，子进程正常结束,返回0, 被终止,返回1 关系 : Popen.communicate() 注 : Popen.communicate()会等待子进程结束,才继续执行。

###def launch(self, kwargs) 功能 : 有服务启动就输出启动的服务没有服务启动就用子进程启动服务。参数 : kwargs [dict] : once number 实现 : 从配置目录得到conf_files,如果conf_files为空就直接返回从运行目录得到正在运行的pids[list]

          对于pids中的每一个pid
              if pid对应的conf_file在conf_files中
                 输出已经启动的server pid conf_file
              elif kwargs[number]=False
                 输出已经启动的server pid pid_file

          if already_started=True: 
              输出服务已经启动，返回[]
          如果对于每一个pid都没有对应的conf_file在conf_files中，
          ，且指定了kwargs[number]，就从conf_files
          中的每一个conf_file开始:
              启动子进程调用self.cmd conf_file

返回    : if server启动，就返回[],
          else pids字典, pid:pid_file
关系    : self.spawn()
注      : 1. 配置目录中没有对应的conf_files。
          2. 配置文件中有对应的配置文件:
               正在运行的pids对应的conf_file在conf_files中
               正在运行的pids对应的conf_file不在conf_files中,kwargs[number]!=0
               正在运行的pids对应的conf_file不在conf_files中,kwargs[number]=0

###def stop(self, kwargs) 功能 : 终止当前进程参数 : kwargs [dict] : 实现 : 调用kill_running_pids() 返回 : pids字典，pid:pid_file,正常kill进程关系 : self.kill_running_pids()

swift 2

Swift Manager swift source code analysis

##/swift/common/manager.py

class Manage

class Server