職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責
1、負責設計、開發(fā)和維護高效、穩(wěn)定的爬蟲系統(tǒng),提升數(shù)據(jù)采集的效率和質量;
2、負責多平臺信息抽取、數(shù)據(jù)清洗、入庫、服務化等研發(fā)和優(yōu)化工作;
3、解決實際開發(fā)過程中碰到的各類產品數(shù)據(jù)需求和接口問題。
任職要求
1、統(tǒng)招本科及以上學歷,熟練使用Python或其他相關語言進行爬蟲開發(fā),擁有扎實的編碼和調試能力,并能夠編寫高質量的可維護代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據(jù)需求靈活使用,同時熟悉反爬蟲機制的解決方案;
3、具備大規(guī)模分布式爬蟲系統(tǒng)設計和開發(fā)經驗,能夠解決分布式爬蟲中的挑戰(zhàn)和問題,如任務調度、數(shù)據(jù)同步和去重等;
4、深入理解網(wǎng)絡協(xié)議和網(wǎng)頁結構,能夠處理復雜的頁面結構和動態(tài)內容;
5、熟悉數(shù)據(jù)庫的使用,能夠設計和優(yōu)化數(shù)據(jù)存儲和查詢方案,具備數(shù)據(jù)清洗和處理的能力。
6、有開源大模型部署及微調經驗優(yōu)先
1、負責設計、開發(fā)和維護高效、穩(wěn)定的爬蟲系統(tǒng),提升數(shù)據(jù)采集的效率和質量;
2、負責多平臺信息抽取、數(shù)據(jù)清洗、入庫、服務化等研發(fā)和優(yōu)化工作;
3、解決實際開發(fā)過程中碰到的各類產品數(shù)據(jù)需求和接口問題。
任職要求
1、統(tǒng)招本科及以上學歷,熟練使用Python或其他相關語言進行爬蟲開發(fā),擁有扎實的編碼和調試能力,并能夠編寫高質量的可維護代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據(jù)需求靈活使用,同時熟悉反爬蟲機制的解決方案;
3、具備大規(guī)模分布式爬蟲系統(tǒng)設計和開發(fā)經驗,能夠解決分布式爬蟲中的挑戰(zhàn)和問題,如任務調度、數(shù)據(jù)同步和去重等;
4、深入理解網(wǎng)絡協(xié)議和網(wǎng)頁結構,能夠處理復雜的頁面結構和動態(tài)內容;
5、熟悉數(shù)據(jù)庫的使用,能夠設計和優(yōu)化數(shù)據(jù)存儲和查詢方案,具備數(shù)據(jù)清洗和處理的能力。
6、有開源大模型部署及微調經驗優(yōu)先
工作時間:995
工作地點
地址:北京朝陽區(qū)海航大廈北京市朝陽區(qū)霄云路26號海航大廈
??
點擊查看地圖
詳細位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財物(如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等),均涉嫌違法,請求職者務必提高警惕。
職位發(fā)布者
劉小姐HR
位來小獵(寧波)信息技術有限公司
-
專業(yè)服務
-
200-499人
-
私營·民營企業(yè)
-
上海市普陀區(qū)真如山姆

應屆畢業(yè)生
學歷不限
最近更新
4958人關注
注:聯(lián)系我時,請說是在寧夏人才網(wǎng)上看到的。
