網絡爬蟲下的房地產評估測評系統研究

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了網絡爬蟲下的房地產評估測評系統研究范文，希望能給你帶來靈感和參考，敬請閱讀。

[摘要]針對傳統房地產評估行業存在的問題構建了新的流程優化方案，基于該流程方案設計了利用python網絡爬蟲獲取互聯網大量住宅型房地產數據的測評系統。同時闡述了該測評系統通過大數據和資產評估市場法得出比準價格，該價格作為依據為評估師的執業結果進行判斷評分，有助于降低評估誤差，進一步規范評估市場。

[關鍵詞]python爬蟲；住宅型房地產評估測評系統；評估價值測評

一、引言

在傳統房產評估過程中，委托方和評估機構可能會存在利益共謀，從而損害第三方利益。單個評估企業對資產評估所得到的結果也難免存在失誤。如果評估公司的評估結果與委托方預期差距較大時，委托方會選擇重復評估，浪費人力和物力。這些問題都不利于評估行業的健康發展。隨著大數據時代的到來，評估行業如何在大數據環境下獲得所需要的評估數據變得日益重要。近年來，我國資產評估行業努力推進評估行業大數據建設，很多學者積極探索資產評估信息化。吳穎(2016)認為房地產的三種評估方法由于過分依賴資產評估師的經驗，從而對評估結果的公信力存在一定的影響。鑒于此，本文引入第三方監督機構，借助房地產價值評估測評系統，提高評估結果的準確性和評估行業的公信力。胡蘭，段禾青(2018)提出了在資產評估行業利用大數據與云計算相結合，用以彌補分析階段人工信息處理出錯的可能，并提出構建評估大數據智能化平臺，不足之處在于尚未闡述如何構建評估大數據智能化平臺以及如何獲得平臺的數據。為了彌補這一不足，本文融合政府、房產交易市場、互聯網和財務軟件四個層面數據來源，經過數據清洗后組成了數據倉庫，為構建評估大數據智能化平臺提供了思路。董睿琳，董楠(2019)提出了利用網絡爬蟲技術獲取數據資源和利用大數據進行自動估價系統。在此基礎上本文提出了利用python構建網絡爬蟲以及如何利用爬蟲獲取數據、獲取互聯網上哪部分數據等內容，以實現快速、高效、大面積的爬取數據。本文利用基于python的網絡爬蟲技術將互聯網大數據資源與住宅型房地產價值評估測評系統結合，自動進行分析計算，為評估結果提供了一定的參考依據，有助于降低評估誤差，進一步規范了評估市場。

二、評估流程優化

住宅型房地產評估流程優化是指轉變傳統價值評估觀念，引入獨立的第三方監督機構，利用大數據技術介入結果檢查，同時管理評估行業的信用評級，從信譽方面把控評估公司的評估資質，淘汰掉不符合要求的評估公司，促進市場的良性競爭。監管部門的引入，不僅保證了評估結果的可靠性，還可降低評估風險，減少重復評估對資源的浪費，有利促進評估行業的發展。委托方在市場上評估需求，以公開招標的形式吸引合格的評估公司，并依據評估公司信譽評級進行業務委托。監管部門對評估公司評估過程介入監管，首先對資產評估師現場采集的照片及底稿進行審計審核，若審核不符合要求則對評估公司進行評級扣分，若信息無誤則將數據錄入測評系統中進行下一步的分析。測評系統的分析階段利用市場法、收益法或成本法對數據進行處理，得出比準價格，并將其與評估公司的結果進行比較，若評估公司的結果與該價格偏離度較低，說明評估公司評估質量良好，委托方可接受該結果無需重復評估。最后監管部門會依據結果的準確性對評估公司信譽進行評分，并更新公司信譽評級。該信譽將會影響委托方對評估公司的選擇。

三、住宅型房地產評估測評系統設計

依據評估房產優化后的流程設計針對監管方的測評系統。該系統特色之處在于數據采集除利用財務報表等結構化數據外，還通過基于python的網絡爬蟲技術采集互聯網上龐大的非結構數據信息。系統采集的基礎數據是房產評估的整體依據，因此本系統利用互聯網大數據資源，全面的獲取住宅型房地產行業的數據信息，有助于提高評估公正性和真實性。住宅型房地產價值評估測評系統擁有三個功能模塊：數據采集、價值評估以及信譽反饋，下面分別對其進行介紹。

(一)基于網絡爬蟲的數據采集下面將對數據的主要來源進行闡述，并利用python語言設計網絡爬蟲對住宅型房地產的基本信息進行抓取。1.數據采集來源數據的獲取主要來自以下幾個方面：(1)政府層面信息來源。獲取資產評估協會的行業指導、評估案例，以及政府部門在相關網站上的相關評估標準、細則，如土地級別圖、基準地價表等，這是利用基準地價系數修正法得到評估范圍的前提。(2)從房地產中介獲取數據信息。房地產中介掌握大量的買賣雙方的交易信息，因此能夠很好地反映市場需求和房地產價格，為測評系統的價值評估范圍提供較大的參考依據。(3)財務報表數據。在使用收益法對房地產進行評估時，需要利用財務報表的相關信息。使用企業普及度較高的財務軟件，可實現對財務報表數據的收集。(4)運用爬蟲獲取網頁數據。互聯網是一個巨大的信息庫，它提供了實時、快捷的海量信息。基于python技術的網絡爬蟲能夠穩定高效的從大型網站中進行大規模的數據爬取，為得出評估價值區間提供保障。通過上述四種主要渠道獲取并存儲數據，利用數據倉庫加工這些異構的數據源，消除掉數據源中的不一致，最終得到一個數據源的有效集成，從而構建一個包含完整數據信息的評估大數據智能化平臺。網頁下存在的大量非結構數據信息雖然價值高，但因數量龐大、結構復雜而采集較為困難，因此下面主要介紹利用網絡爬蟲技術獲取互聯網下房產市場上大量數據的過程。2.網絡爬蟲爬取互聯網數據資源本系統設計數據采集模塊，通過python的語言編寫網絡爬蟲，抓取的內容包括：(1)互聯網上的住宅房地產信息。具體包括某一地區房產位置、交易價格、建筑面積、房屋戶型、裝修情況、產權年限、所在樓層、戶型結構、建筑類型、建筑結構、配套電梯等。(2)政府部門在相關網站上的相關評估標準、細則。由于互聯網上的房產數據內容龐大，并且信息往往不集中，數據的獲取存在一定的難度，因此下面主要闡述從互聯網上獲取的房地產基本信息。首先系統根據一定的網頁分析算法過濾掉與住宅型房地產主題無關的鏈接，保留有用的鏈接，然后對這些連接下的網頁進行下載并對網頁結構進行分析，最后利用一定的算法獲取網頁下的房產基本信息并完成數據存儲。以鏈家房地產網站為例，在該網站搜索某市住房信息，可得到該市不同地區住房情況，點擊具體某一房源，在二級網站中查閱到該房源詳細的信息，因此需要獲取的房產詳細信息存儲在二級界面中。對房地產網站進行元素審查發現，首先需要對主頁面進行爬蟲設計，對該主網站樹形結構下載后進行DOM樹遍歷，并利用正則表達式提取其中包含的二級網站url。對于抓取到的第二層網站鏈接，繼續對其網頁結構進行分析，確認好需要的數據所存在的位置后，對該網頁下的房產基本信息解析和數據的提取，最后將抓取到的信息經過數據清洗，刪除掉一些空行、錯誤的數據后保存在數據庫中，以保證數據的有效性和可用性。二級鏈接中的數據可以讓采集到的數據更加充實完善，從而提高資產評估的準確性。

(二)基于市場法的價值評估由于大數據資產的交易市場越來越活躍，市場法評估大數據資產價值具有明顯優勢，因此下面主要介紹利用市場法得出住宅型房地產的比準價格。在基于網絡爬蟲的數據采集模塊中，網絡爬蟲已將從互聯網上爬取到的大數據信息存入數據庫，方便后續數據的查詢與調用。對評估人員現場勘察記錄底稿進行審計后，將住房基礎數據錄入測評系統中。錄入的基礎數據是測評系統分析匹配相似房地產的基礎。測評系統通過對錄入的數據進行模糊查詢，從數據庫中調用出全部與目標房產具有相似度的樓房參照物，利用計算機內部算法對參照物屬性進行區域修正和個別因素修正等計算后，根據參照物的相應權重，采用加權平均法計算得出評估對象的比準價格。該測評系統在分析階段還可以與評估專家模塊相結合，利用其包含的專業知識解決在分析房地產價值的過程中存在的特殊、專業性的問題，有利于提高評估的規范性和工作效率，降低業務成本。大數據數據庫的優勢在于可以將全部既有較高相似度的房產數據匹配出來進行計算，彌補了因人工精力有限，難以對全部具有相似屬性的房產進行因素修正的缺陷。最后對結果求取加權平均值計算得出的結果區間。與人工相比利用大數據信息化所得到的結果正確率與準確性更高。另外，由于大數據常與可視化工具組合完成對相關數據的分析，因此還可利用本系統中存在的房地產大數據進行可視化分析，通過對可視化的分析結果進行觀察，可以發現評估行業中普遍存在的問題，對政府的決策、評估政策的制定等都具有一定的幫助作用。

(三)信譽反饋評估測評系統的信譽反饋機制是指利用系統價值評估階段計算得到的比準價格與評估公司報告中的評估結果進行比較，根據偏離度對評估公司進行打分。若評估結果符合比準價格或與比準價格偏離度較小，則說明評估公司的評估結果與該系統差異度較小，準確度較高，該公司展開評估工作較為有效，委托方可放心使用該評估結果無需重復評估。若評估結果與該比準價格偏離度較大，說明該公司的評估結果可信度較低，則監管部門應該對該公司的信用評級進行扣分。由于委托方對評估公司的委托主要依據該公司評估的信用評級，當公司的信用評級降低到一定程度后，該公司將會失去大部分的評估市場，只能通過降低服務價格或提高評估質量來轉型，否則將會被市場淘汰。這一定程度上幫助市場篩選掉不符合要求的公司，從而促進評估產業的可持續發展。綜上，針對監管部門的住宅型房地產價值評估測評系統的設計，利用互聯網與大數據技術相結合，通過網絡爬蟲獲得的數據為后續分析打下了基礎，使得價值評估階段擁有價值較高的參考依據。計算機相較人工能夠處理更多的數據信息，得出的評估價格更精確，從而為評估公司的結果提供了參考依據。

[參考文獻]

[1]劉琦,童洋,魏永長，等.市場法評估大數據資產的應用[J].中國資產評估,2016(11):33-37.

[2]陳偉,孫夢蝶.基于網絡爬蟲技術的大數據審計方法研究[J].中國注冊會計師,2018(14):76-79.

[3]周云.一種基于大數據的品牌資產評估方法及系統[P].權力要求書,2016.

[4]胡蘭,段禾青.大數據時代資產評估行業現狀及發展分析[J].綠色科技,2018(23):41-42.

[5]董睿琳,董楠.基于房地產大數據的自動股價系統研究[J].智能計算機與應用,2019,9(3):276-280.

[6]姜楠,王景升.資產評估[M].大連:東北財經大學出版社,2018:94-112.

作者：陳思宏 劉紫儀 單位：青島科技大學