管理分布式集群？

您需要一个Grid / HPC框架来处理您的分布式基础结构并运行作业。 在unix / linux中，有两个系统可能对您有用。便携式批处理系统（PBS）或Condor   您如何管理所有这些   任务/工作？ Condor和PBS都非常需要充当每个工作/任务的接受者，对于每个工作/任务，您都可以将优先级和区分级别相关联。群集的管理员根据这些标识符设置规则以安排作业。   您如何分配   机器之间的任务？ Condor或PBS会为您完成此工作，您只需将作业提交到主节点并指定优先级，输入和输出等。 您可以定期检查作业何时完成，可以通过不同的机制订阅通知，也可以通过“ 1”进行阻止直到完成。   你怎么   跟踪作业/机器在   过程？ PBS和Condor都具有类似“ѭ2”的命令，以列出在等待，运行或取消中排队的作业。如果该过程允许快照，它们还具有停止或取消作业的实用程序。 对于大型群集，我的建议是尝试Condor。解决问题完全像您遇到的问题已有很长时间了。这里有一些Condor + Python的例子 其他最近要考虑的解决方案是： Celery用于Python的分布式任务队列。 DiscoProject基于MapReduce范例的分布式计算框架。