PyConTW 2017 TALK 用 Django 建立一個可以設定爬蟲排程任務與監控的網站

Outline

• 排程任務、工具、相關框架
• 建立一個排程任務網站
• 爬蟲程式範例
• 任務程式範例
• 如何透過 Django-Admin 建立任務
• 前端設計
• Demo

Story as background

公司與工廠間再生產產品期間時需要經常即時的傳遞零組件資料，這些資料存在品牌公司的資訊系統。

這些資料需要定期人工下載、比對，但是品牌公司會基於某些原因與理由不開放 API 讓系統之間串接，因此爬蟲成了資料下載的管道。

一個工廠不會只生產一種產品，每種產品的零組件也不會只有幾十種。系統雖提供同一種下載模式（在同網站），但很多名稱不一定有規則，所以每個爬蟲程式多多少少需要一些客製化。然後...然後...然後...

Story as background

排程任務
工具與框架

Luigi vs Airflow vs Pinball

建立一個
排程任務網站

RequirementS

1. 簡單整合任務排程（整合起來不複雜）
2. 可以把爬蟲的程式簡單的包進進去（模組化）
3. 監控流程與狀態（開始運行提示、運行時的狀況）
4. 容易就做出來的前端頁面（熟悉？）
5. 最後...我就是想用 Django

Pictures

等等，你是不是還忘記些什麼？Celery 大大呢？

• Why not Celery
• Django native
• 簡單設定
• 快速

Django-Q 簡介與設定方式

Feature

• Multiprocessing worker pools
• Asynchronous tasks
• Scheduled and repeated tasks
• Encrypted and compressed packages
• Failure and success database or cache

Feature

• Result hooks, groups and chains
• Django Admin integration
• PaaS compatible with multiple instances
• Multi cluster monitor
• Redis, Disque, IronMQ, SQS, MongoDB or ORM
• Rollbar support

安裝與設定方式

Install the latest version with pip:
$ pip install django-q

Add django_q to INSTALLED_APPS in your projects settings.py: INSTALLED_APPS = (
# other apps
'django_q',
)

安裝與設定方式

Run Django migrations to create the database tables:
$ python manage.py migrate
Choose a message broker , configure it and install the appropriate client library.
Q_CLUSTER = { 'name': 'DjangORM',
'workers': 1,
'timeout': 1800, 'retry': 120, 'queue_limit': 50, 'bulk': 10, 'orm': 'default'
}

安裝與設定方式

Run Django Q cluster in order to handle tasks async:
$ python manage.py qcluster

基本上就完成所有 Django-Q 的設定了。接者讓 Django wsgi server 跑起來。
$ python manage.py runserver

開始來
寫爬蟲吧

首先我想把爬蟲都放在 crawler 這個 app之下:
$ python manage.py startapp crawler

這個 app 就專門負責爬蟲任務，接著建立一個 crawler.py 的程式。爬蟲通常會用到幾個套件 requests, selenium, BeautifulSoup 都先裝起來。
$ pip install requests, selenium, BeautifulSoup4 安裝完成之後我們就可以開始來寫 crawler.py，crawler.py 目的就是將我們想做的爬蟲功能都做進去。

Code samples

            class Crawler(object):
              
            def __init__(self, *args, **kwargs):
                self.BASE_DIR = settings.BASE_DIR
                ...
            def driver(self):
                ...
        

Code samples

            def test(url):
                PHANTOMJS='{path}'
                crawler = Crawler(driver_path=PHANTOMJS):
                driver = crawler.driver()
                driver.get(url)
                pageSource = driver.page_source
                soup = bs(pageSource, "html.parser")
                driver.close()
                return soup
        

Code samples

隨便爬個網頁，得到一些結果。就完成了爬蟲程式。

            if __name__ == '__main__':
                logging.basicConfig(level=logging.INFO,
        format='%(asctime)s:%(name)s:%(levelname)s:%(message)s')
                print(test(url='http://pala.tw/js-example/'))
        

接著
來完成 Tasks

在 /crawler/ 下建立一個 tasks.py 這個檔案將用來撰寫與管理我們的任務。接著我們把前面用來測試的程式碼改個名稱 def crawler_job(url)加到 tasks.py 內，就完成第一隻 task。

接著進入到 admin 的後台，新增一個 schedule task 測試看看。

$ python manage.py qcluster 的介面會顯示執行時狀態

前端頁面
設計

希望有一個頁面可以即時的看到任務正在執行，和已經結束的任務。還能點進去觀看任務詳細執行歷程。

每個 task 記錄每個細節。

首先在 crawler/views.py 新增一個 crawler(request)取的所有 tasks

            def crawler(request):
                queue_crawler = OrmQ.objects.all().order_by('lock')
                complete_crawler = Task.objects.all().filter(
                    func__exact='crawler.tasks.crawler_job',
                )
                return render(request, 'crawler/tasks_crawler.html', {
                    'queue_crawler': queue_crawler,
                    'complete_crawler': complete_crawler
                })
        

view_task(request, id) 取得每個 task 的 detail

            def view_task(request, id):
                task = get_object_or_404(Task, id=id)
                result = task.result
                if task.func == 'crawler.tasks.crawler_job':
                    return render(request, 'crawler/tasks_detail.html', {
                        'result': result,})
                return Http404(
                'Given task of type %s does not have the....'
                % task.func)
        

介紹一個好用的 logging 套件，lazy_logger。

Demo

See more on GitHub