商業(yè)地產(chǎn)數(shù)據(jù)庫(kù)(商業(yè)地產(chǎn)大數(shù)據(jù))

系列前言：海鼎科技·專家教程

在滿足了行業(yè)千余家客戶的數(shù)字化需求后，我們發(fā)現(xiàn)商業(yè)地產(chǎn)企業(yè)中不乏充滿激情和干勁的專業(yè)人才。他們要么為商業(yè)團(tuán)體和項(xiàng)目的發(fā)展貢獻(xiàn)了寶貴的智慧，要么在學(xué)術(shù)領(lǐng)域沉積了極其有價(jià)值的架構(gòu)體系。

今天，我們邀請(qǐng)他們參加海鼎科技專家系列課程，將他們所學(xué)到的、所理解的、所感受到的“暴露”給更廣泛的行業(yè)受眾，將他們的秘密知識(shí)呈現(xiàn)給行業(yè)公眾，造福行業(yè)的加速發(fā)展。

本期專家介紹：劉選草老師

2010年進(jìn)入零售行業(yè)，曾擔(dān)任多個(gè)商業(yè)項(xiàng)目的IT部門(mén)負(fù)責(zé)人。在經(jīng)歷了百貨、購(gòu)物中心、商業(yè)街、超市、綜合體等業(yè)態(tài)7個(gè)項(xiàng)目（3個(gè)在籌）的發(fā)展成熟后，專注于商業(yè)地產(chǎn)數(shù)字化領(lǐng)域。

在數(shù)據(jù)分析專業(yè)領(lǐng)域，2015年深入學(xué)習(xí)統(tǒng)計(jì)學(xué)，2019年初通過(guò)法國(guó)ESSEC商學(xué)院數(shù)據(jù)分析專業(yè)認(rèn)證。2021年獲得聯(lián)合國(guó)下屬TRL聯(lián)盟頒發(fā)的獨(dú)立科學(xué)家認(rèn)證、TRL志愿者翻譯資格。同時(shí)，作為Unity和Unreal虛擬現(xiàn)實(shí)的獨(dú)立開(kāi)發(fā)者，參與某大學(xué)文理專業(yè)數(shù)據(jù)可視化藝術(shù)作品的討論和制作。

寫(xiě)在前面·作者序言：

商業(yè)數(shù)據(jù)分析（簡(jiǎn)稱BA），結(jié)合前幾年大數(shù)據(jù)、人工智能的流行，受到了甲方、乙方的熱烈追捧。突然間，物聯(lián)網(wǎng)、新BI、新零售等新概念層出不窮?！娂娪楷F(xiàn)。

我在商業(yè)IT部門(mén)工作了11年。在這些年的項(xiàng)目經(jīng)歷中，我發(fā)現(xiàn)商業(yè)公司開(kāi)始越來(lái)越重視數(shù)據(jù)。但在實(shí)際操作中，需要投入的不僅僅是資金，還需要專業(yè)素質(zhì)、理論基礎(chǔ)以及上層領(lǐng)導(dǎo)的理解和支持。各個(gè)方面缺一不可。有時(shí)不同項(xiàng)目之間差異巨大，報(bào)告很簡(jiǎn)單，分析方法也是20年前的標(biāo)準(zhǔn)。BABI進(jìn)展如此緩慢也在情理之中。

在我過(guò)去的實(shí)際分析經(jīng)驗(yàn)中，我發(fā)現(xiàn)傳統(tǒng)業(yè)務(wù)分析的結(jié)構(gòu)相當(dāng)簡(jiǎn)單，包括同比、環(huán)比分析、漏斗下鉆、分類匯總，結(jié)合多個(gè)維度：比如銷售、面積效率、租賃等，由此產(chǎn)生的分析通常無(wú)法理解數(shù)據(jù)本身所包含的含義。針對(duì)這個(gè)問(wèn)題，我將結(jié)合大量國(guó)內(nèi)外文獻(xiàn)和資料，以及借鑒其他行業(yè)的分析方法，用以下四章來(lái)粗略地描述一下這些年的分析方法和經(jīng)驗(yàn)：

第一章：業(yè)務(wù)數(shù)據(jù)處理和描述性分析

第二章：相關(guān)性分析、數(shù)學(xué)模型應(yīng)用

第三章：無(wú)監(jiān)督學(xué)習(xí)下的顧客群體統(tǒng)計(jì)和門(mén)店統(tǒng)計(jì)

第4章：數(shù)據(jù)可視化

接下來(lái)，讓我們進(jìn)入本課程的第一章：“業(yè)務(wù)數(shù)據(jù)處理與描述性分析”。

分析中使用的軟件和語(yǔ)言僅供參考。

1.商業(yè)數(shù)據(jù)的特點(diǎn)及缺失值的處理

購(gòu)物中心存在的本質(zhì)是合理控制承租人的運(yùn)營(yíng)成本。當(dāng)與承租人的履約過(guò)程正常時(shí)，承租人不會(huì)在人員、促銷等費(fèi)用上產(chǎn)生巨大的投入（相對(duì)于百貨商場(chǎng)和超市）。

然而，國(guó)內(nèi)外商場(chǎng)都有一個(gè)核心問(wèn)題：銷售情況無(wú)法及時(shí)獲得，這也是數(shù)據(jù)收集和分析困難的巨大問(wèn)題。我們經(jīng)?？吹揭粋€(gè)店鋪的銷售數(shù)據(jù)是這樣的：

某商場(chǎng)在規(guī)定區(qū)間內(nèi)的品牌交易數(shù)據(jù)，缺失值用黃色表示。如圖所示，該品牌的銷售數(shù)據(jù)存在不規(guī)則、不規(guī)則的缺失，因此需要考慮使用插值補(bǔ)全來(lái)嘗試補(bǔ)全數(shù)據(jù)。但同時(shí)也應(yīng)該看到，補(bǔ)充銷售后，可能會(huì)直接影響現(xiàn)有銷售的業(yè)績(jī)。因此，需要在插值后進(jìn)行測(cè)試。最快的方法是使用ANOVA來(lái)檢驗(yàn)方差。如果方差不大于某個(gè)閾值，說(shuō)明插值結(jié)果是可用的，或者可以使用直觀的圖形來(lái)可視化數(shù)據(jù)趨勢(shì)來(lái)判斷數(shù)據(jù)的可讀性。

在做這一步之前必須明確一件事：插值處理是在沒(méi)有原始數(shù)據(jù)的情況下，根據(jù)品牌實(shí)際已有的銷售數(shù)據(jù)進(jìn)行數(shù)學(xué)模擬，填補(bǔ)空缺的位置。該方法用于發(fā)現(xiàn)數(shù)據(jù)的趨勢(shì)，而不是具體的單日比較或環(huán)比比較。

插值完成的方法有很多種。我習(xí)慣使用KNN、簡(jiǎn)單插值和貝葉斯插值方法進(jìn)行比較。下圖列出了三種不同插值的結(jié)果。需要觀察插值范圍內(nèi)數(shù)據(jù)的一致性和周期性，最終確定插值方法。當(dāng)然，由于不同品牌的業(yè)務(wù)方式不同，插值不可能是統(tǒng)一的算法，否則可能會(huì)產(chǎn)生基于隨機(jī)數(shù)的數(shù)學(xué)規(guī)則，從而產(chǎn)生不應(yīng)該出現(xiàn)的噪音。

如果是多維度的數(shù)據(jù)，比如對(duì)某個(gè)客戶的屬性分析，包括年齡、性別、交易次數(shù)、單價(jià)等數(shù)據(jù)，缺失值會(huì)越來(lái)越復(fù)雜。左下圖顯示了同一組數(shù)據(jù)中各列中各個(gè)維度的缺失值。紅色是實(shí)際缺失值。右圖使用散點(diǎn)圖來(lái)標(biāo)記其他有缺失值的屬性的分布以及四分位圖。

多維缺失值處理需要使用主成分分析。首先，確定數(shù)據(jù)各個(gè)維度之間的相關(guān)性。如果交易數(shù)量和交易數(shù)量之間存在很強(qiáng)的相關(guān)性，算法可能會(huì)提示刪除其中一項(xiàng)。而如果一列數(shù)據(jù)恰好有很多缺失值，就可以剔除?；蛘呷绻摿械臄?shù)據(jù)與其他列的數(shù)據(jù)差異較大，也可以選擇刪除。

2.主成分分析

如何確認(rèn)哪些維度有意義？

有時(shí)候我們?cè)诜治瞿硞€(gè)品牌或者某類客戶的時(shí)候，可能會(huì)有太多的參考維度。對(duì)于客戶：年齡、性別、出生地、工作年限、年收入，哪些是最有影響力的客戶？購(gòu)買(mǎi)產(chǎn)品的關(guān)鍵因素是什么？我們需要用主成分分析來(lái)確認(rèn)。

通過(guò)主成分分析（PCA），我們可以使用R語(yǔ)言找到主成分，并根據(jù)算法提示獲得對(duì)哪一列進(jìn)行數(shù)據(jù)處理的意見(jiàn)。

3.Outlier（異常數(shù)據(jù)）檢測(cè)

在某個(gè)品牌的銷售活動(dòng)中，可能會(huì)出現(xiàn)高潮和低谷。我們需要利用統(tǒng)計(jì)的方法來(lái)找出這些異常的銷售天數(shù)并確定造成這種情況的原因。異常值檢測(cè)是一種常見(jiàn)的檢測(cè)分析方法。

異常值用于檢測(cè)數(shù)據(jù)中是否存在數(shù)據(jù)偏移、錯(cuò)誤數(shù)據(jù)等。如果異常值在95%置信區(qū)間之外，則判斷是數(shù)據(jù)錄入錯(cuò)誤還是大規(guī)?；顒?dòng)導(dǎo)致的短期大數(shù)據(jù)發(fā)生。種類。

在業(yè)務(wù)數(shù)據(jù)分析中，置信區(qū)間用于描述數(shù)據(jù)的可靠性。如果某段時(shí)間的數(shù)據(jù)超過(guò)置信區(qū)間，則節(jié)點(diǎn)數(shù)據(jù)可能存在數(shù)據(jù)錯(cuò)誤或特殊情況導(dǎo)致的變化。如果銷售數(shù)據(jù)輸入錯(cuò)誤，商場(chǎng)或品牌的大型活動(dòng)可能會(huì)導(dǎo)致銷售數(shù)據(jù)出現(xiàn)大規(guī)模變化。當(dāng)然，具體情況還需要針對(duì)各個(gè)品牌進(jìn)行分析確認(rèn)。

如下圖所示，紅色部分標(biāo)記為異常值。此時(shí)就可以根據(jù)這個(gè)結(jié)果對(duì)數(shù)據(jù)進(jìn)行深入分析了。例如增加的原因，如是否存在銷售數(shù)據(jù)錄入錯(cuò)誤等。

在這兩幅圖中，使用以下公式來(lái)識(shí)別異常值：

當(dāng)然，異常值的分配需要根據(jù)數(shù)據(jù)集的實(shí)際情況來(lái)判斷，比如使用kmeans或者層次聚類來(lái)獲得實(shí)際的分類閾值，然后進(jìn)行異常值分析。

如果只看門(mén)店環(huán)比、同比的銷售曲線，對(duì)實(shí)際情況沒(méi)有參考價(jià)值。我們需要使用時(shí)間序列模型來(lái)分析單個(gè)商店的銷售趨勢(shì)。我們可以通過(guò)這個(gè)模型來(lái)查看店鋪的銷售趨勢(shì)，甚至是它的生命周期。然而，銷售數(shù)據(jù)都是季節(jié)性的，我們稱之為白噪聲，在分析過(guò)程中需要將其去除。

該算法的前提是引入經(jīng)濟(jì)時(shí)間序列模型來(lái)尋找該數(shù)據(jù)的自正則性。例如，門(mén)店的銷售能力會(huì)增加還是減少，是否存在周期性模式等。采用這種方法的初衷是，在前期分析門(mén)店銷售時(shí)，有很多參考項(xiàng)目。參考經(jīng)濟(jì)學(xué)相關(guān)模型和算法后，認(rèn)為門(mén)店銷售額也存在一定程度的自相關(guān)性。例如，在進(jìn)行時(shí)間段分析時(shí)，如果想了解某個(gè)品牌的銷售是否呈現(xiàn)周期性模式，則必須首先去除季節(jié)性影響，并檢查數(shù)據(jù)本身是否具有自相關(guān)性。因此，需要首先去除以周期性為代表的白噪聲。

以上內(nèi)容是數(shù)據(jù)處理的基本方法和描述性統(tǒng)計(jì)方法。下一章我們將繼續(xù)介紹統(tǒng)計(jì)模型在業(yè)務(wù)分析中的運(yùn)用。感謝您的持續(xù)關(guān)注。