天天操天天拍-天天操天天射天天-天天操天天射天天操-天天操天天添-欧美乱码伦视频免费-欧美乱一级在线观看

您現在所在的位置:首頁 >學員就業 > 學生感言 > Python1707A學員感言:寫爬蟲很簡單又很難

Python1707A學員感言:寫爬蟲很簡單又很難

來源:奇酷教育 發表于:

 通過這次做項目,使我對項目開發有了進一步的認識。做項目的時候,最重要的不是自己如何快速地將自己分配的任務做完,而是要注重團隊合作

 通過這次做項目,使我對項目開發有了進一步的認識。做項目的時候,最重要的不是自己如何快速地將自己分配的任務做完,而是要注重團隊合作。一開始組內必須對這個項目的數據庫的命名進行討論,定義表的屬性的數據類型,表與表之間會有關聯,所以有的屬性的類型與長度必須定義一致,這樣訪問數據庫時才不會出錯。如果一開始不將這些步驟統一下來的話,就會給后面的編程帶來一系列的問題。
 
    整個一周的項目,第一天我們就對項目的數據庫以及數據表有了初步的建立,然后后面還有許多模塊需要分工,當然,有些具體的模塊需要完成的功能,都還不甚清楚,因此我們第一天就針對這個web項目做了一個簡單的Django框架的搭建,以及前期項目比較依賴的登錄注冊部分給完善了出來。
    整個項目包含了有:購物車,商品列表頁,商品詳情頁,訂單頁面,支付頁面,個人用戶信息完善頁面,首頁的完善展示和一些小功能,然而我們組有5個人呢,我有身為組長,其中最重要的一部分,商品數據的獲取部分就是由我來做的。
    從第二天開始,我們就開始按照各自的分工開始寫自己的項目了,但是,一旦開始些項目之后,隨之而來的各種問題就出現了,例如商品列表頁面需要一些基礎的數據部分,這些數據是需要我來爬取,具體的商品需要分類,這些商品類型也是需要我首先爬取一部分基礎的測試數據的,還有一部分商品詳情頁的內容也是需要我先爬取一部分基礎測試數據的,因此,我就開始了我的基礎測試數據的爬取。
    我選擇的是爬蟲,因此為了起初為了效率,我是選擇的比較高效率的scrapy框架來爬取數據的,但是,當寫了一段時間代碼之后,發現自己對著一套框架并不熟悉,底層封裝的各種代碼,的用途都不是很熟悉,感覺就是寫代碼根本就是不可控制的,這就很難受,幾經猶豫,最終我轉回了基本的requests模塊,雖說比較基礎,但也還沒到了urllib2的那種程度,因此寫起來也就比較得心應手了,同時感覺可控制性也比較強,一天下來,商品列表的爬取代碼也寫的差不多了,到了爬取數據的時候終于還是出了不少問題。
    比如,再匹配頁面數據的時候,我選擇的是使用Xpath來匹配頁面數據,明明在網頁上使用的xpath查詢工具能夠匹配到數據,可是寫在代碼里面就是匹配不到數據,這個問題一直困擾了,我很長時間,直到我上網百度之后,才發現,有些問題還是自己的問題,當順利解決之后,最終還是選擇了使用正則與Xpath的混合使用完成了商品類型列表的爬取部分。當然,這也是我第二天完成了自己爬取組內基礎測試數據部分的爬取。
    由于我寫的是爬蟲,當項目的數據模型類基本定下來之后,就只需要關心自己的數據問題與數據庫的數據的對應問題就可以了,可是,身為項目小組中的組長,我還是要肩負一部分的責任的,一天下來,組內成員也積累了不少問題,比如,白天在代碼同步的時候,總會有些人因為在提交之前沒有更新,其他人再更新的時候,就會莫名的有一部分代碼被刪掉,這些都是更行代碼不同步的問題,當然,其他問題也在討論的時候得到了一一的解決。
    到了第三天,真正需要完整的爬取整站的數據的時候,終于還是出了不少問題,例如:這次我們的模板是個全英文的電商網站模板,因此,我在爬取國內網站的中文數據,放在一塊就會顯得非常的不倫不類的感覺,在幾經權衡之下,我選擇了爬取國外同樣的一個大型電商網站。
    又經過了一天的奮斗之后,寫完了一套代碼,問題總是在不經意間到來,由于爬的是國外網站的數據,因此爬取數據的時候,效率就異常的低,幾乎是兩三秒爬取一條的商品數據,然而整站的數據算下來幾乎能達到40000條數據,這樣肯定是不行的,何況還要保存,入庫,如果整個爬下來之后再入庫肯定是不行的,首先內存就會不支持,因此,不得已我就考慮會不會是我的代碼的性能問題。
    于是乎,又接下來的一天我就對代碼做了大量的修改,完全改成了多進程多線程式的操作,可是結果仍不盡如人意,效率不見提升,反而又降低了不少,經過跟組員門的討論之后,考慮應該是數據量是固定的,多線程爬取的話,就會造成并發量過大,同時發送的請求量占用了大量的帶寬,導致了下行數據的速度非常緩慢。
    不得已,我又對代碼做了大量的修改,于是乎,第三個版本就是,單純的雙進程,一個寫入數據,一個爬取數據,這樣下來,效率倒也還好,但是也就跟剛開始差不多,就這樣爬取了一整天,期間跟其他組員共同完成了許多其他難以解決的問題。
    問題的出現總是不可避免的,出現了就要解決,這次的問題就是,爬了整天的數據,到最后,一直只是寫入,卻并沒有保存,因此到了最后需要加快進度,于是就又一次修改代碼,在爬取數據 的時候,沒爬取一類自動保存一次,當然,為了不重復爬取,同時增加了指紋集合的功能,這次總算能有一部分數據了。
    當然,最后肯定不能就這樣草草結束,項目還并不完整,結束以后,一些細節以及數據,仍然需要完成。總體來說,在此次項目中,我們小組雖說經歷了各種困難,但我們都憑借各種途徑解決掉了,增加了項目協同開發的經驗的同時,我也覺得這就是一種自我提升的手段,相信對以后自己的工作中會有很大的用處的。
主站蜘蛛池模板: 鲁鲁在线观看 | 国产成人禁片免费观看 | 国产日本久久久久久久久婷婷 | 国产精品女仆装在线播放 | 免费一级a毛片 | 免费高清资源黄网站在线观看 | 成人嗯啊视频在线观看 | 国产成人综合视频 | 国产一国产一级毛片古装 | 国产在线播 | 国产精品久久久久久五月尺 | 国产高清在线精品一区二区 | 久久福利青草精品资源站免费 | 国产成人精品日本亚洲语言 | 精品国产欧美一区二区三区成人 | 国产三级黄色 | 国产不卡一区二区视频免费 | 免费在线观看一区二区 | 韩国三级 mp4 | 鲁鲁鲁狠在线视频 | 国产精品你懂的在线播放 | 久久精品人人做人人看最新章 | 国产你懂的在线 | 欧美 亚洲 丝袜 清纯 中文 | 国产网曝手机视频在线观看 | 国产精品 人妖系列 | 看片久久 | 狠狠综合久久 | 欧美xx网| 黄色在线不卡 | 高清国产欧美一v精品 | 猛草影院 | 国产欧美成人免费观看 | 国产精品色综合久久 | 精品久 | 国产特级淫片免费看 | 国产女明星专区视频在线播放 | 福利片中文 | 成人欧美一区二区三区黑人妖 | 久草福利站 | 免费在线国产视频 |