使用本地计算机作为主机,将EC2实例设置为Celery Workers

| 与我的问题类似,我正在尝试设置多个Amazon EC2实例以进行一些多处理。我当时想用芹菜来管理工人。有没有人获得芹菜来使用本地计算机作为主机在EC2实例上工作? 有人有什么好的建议,教程,建议等可以帮助您吗?我已经使用celery在django中执行了一些简单的异步处理,但是没有这种规模的操作(工作人员和主机位于同一台计算机上)。 另外,大多数处理都是基于文件的(例如,读取和写入文件)...您认为最好用芹菜腌制和传输文件内容(大多数文件为1-2kb文本) )或在EC2实例之间镜像文件系统,然后让工作程序返回结果(通常为0.5 kb的文本)。     
已邀请:
        我已经将Amazon SQS用于Amazon EC2的任务管理。这是一个非常可扩展的解决方案。我发现Boto是管理Amazon服务的最佳库。 要存储大量的小文件,可以使用MongoDB GridFS,它将允许您存储大量的本地文件。我使用了MongoDB,并获得了完美的性能。唯一的问题-MongoDB在32位架构上非常有限。亚马逊拥有微型实例,其次是大型实例,它支持64个大型实例。微型实例受CPU和内存的限制很大,如果不合适,您需要设置大型实例,这可能会花费很多。 我的任务上的微型实例每天最多可以读取/写入10个演出,没有任何问题。 另外,请查看竞价型实例。它的成本大约是需求的3倍,您可能会发现它们非常适合进行后台处理。     

要回复问题请先登录注册