當(dāng)前位置: 微號(hào)推首頁(yè) > 每日行業(yè)資訊

不僅能答題,還會(huì)改作文,人工智能如何顛覆高考?

微信公眾平臺(tái)編輯:微號(hào)推 0

6月7日-8日兩天,對(duì)于中國(guó)絕大多數(shù)考生來(lái)說(shuō),是將要改變他們?nèi)松娜兆印?/span>

不過(guò),今年的考生有些不同。除了人類以外,還有新的一類考生:AI,今年日本人工智能 Torobo-kun參加?xùn)|京大學(xué)入學(xué)考試,已經(jīng)有學(xué)霸君及四川的準(zhǔn)星云學(xué)兩家公司宣布將要以自己制作的 AI 挑戰(zhàn)數(shù)學(xué)高考。未來(lái),還有更多的 AI 公司準(zhǔn)備躍躍欲試,準(zhǔn)備做高考界的 “ Alphago ”

不過(guò),在這個(gè) AI 挑戰(zhàn)高考的熱潮中,有一些問(wèn)題仍然值得人們思考:為什么要讓 AI 參加高考?AI 能夠考到多少分?AI 會(huì)如何參與高考閱卷 , 尤其是主觀題和作文?AI 會(huì)如何顛覆和改變現(xiàn)有的教育?

昨日,科大訊飛輪值總裁吳曉如與硅谷前沿技術(shù)教育平臺(tái) Udacity 中國(guó)區(qū)的負(fù)責(zé)人 Robert,昨天通過(guò)斗魚(yú)直播平臺(tái)進(jìn)行 “人工智能顛覆高考” 的尖峰對(duì)談。以下是其中部分的摘錄。

Robert:到現(xiàn)在人工智能的技術(shù)有什么樣的一些變化?現(xiàn)在高考機(jī)器人已經(jīng)可以做出來(lái)了嗎?

吳曉如:應(yīng)該說(shuō)就是在過(guò)去的一段時(shí)間里,大家可能是在做學(xué)科領(lǐng)域的知識(shí)圖譜的構(gòu)建。第一就是要讓機(jī)器懂?dāng)?shù)學(xué)。什么叫懂?dāng)?shù)學(xué)?因?yàn)闄C(jī)器不是人,它要有一種它的表征的方式,所以我們要為這個(gè)機(jī)器構(gòu)建各種知識(shí)的知識(shí)圖譜。第二個(gè)實(shí)際上要在自然語(yǔ)言的理解上下功夫,這其實(shí)不是一件很容易的事情,要做很多工作。

現(xiàn)在在數(shù)學(xué)這個(gè)學(xué)科上,機(jī)器已經(jīng)能夠做對(duì)很多的數(shù)學(xué)題目。但高考不是我們的核心,我們真正的目的是在這個(gè)過(guò)程中,能夠?qū)崿F(xiàn)一系列技術(shù)的突破。這些技術(shù)突破要在應(yīng)用界形成一些反彈應(yīng)用,叫“沿途下蛋”。比如,現(xiàn)在在電話客服里面,可以作為一個(gè)機(jī)器接線員可以幫助人工接很多的電話,可能虛擬的機(jī)器人可以走到老師的身邊,可以變成老師的一個(gè)AI的助手,幫助老師處理很多教學(xué)中的事件。

我們中間有一些研究成果,實(shí)際上已經(jīng)進(jìn)入到社會(huì)里面,成為大眾應(yīng)用。在今年全國(guó)人大的時(shí)候,我們慶峰董事長(zhǎng)給我們總理演示了一段我們的機(jī)器翻譯系統(tǒng),就是口語(yǔ)對(duì)口語(yǔ)的翻譯系統(tǒng),其實(shí)這個(gè)也是我們整個(gè)項(xiàng)目中間的一個(gè)(應(yīng)用)因?yàn)樵谟⒄Z(yǔ)考試的時(shí)候本身就要做各種翻譯。再比如我們現(xiàn)在在高考的閱卷上,可以幫助老師去更有效率的或者越更準(zhǔn)確的去閱卷。

Robert:那你覺(jué)得現(xiàn)在我們這個(gè)訊飛的高考機(jī)器人就是在我們高考能考多少分?我們還有多遠(yuǎn)要走?

吳曉如:實(shí)際上這是比較復(fù)雜的一個(gè)話題。第一,現(xiàn)在我們這個(gè)機(jī)器人能考多少分?我還真不能說(shuō),因?yàn)楦呖际且粋€(gè)比較嚴(yán)謹(jǐn)?shù)氖虑?。第二個(gè)我大概先要講一下訊飛在整個(gè)863這個(gè)項(xiàng)目里面我們的定位和角色。

其實(shí)這個(gè)項(xiàng)目聚集了國(guó)內(nèi)大概是七八家國(guó)內(nèi)當(dāng)時(shí)最優(yōu)秀的一些單位,包含我們中科院、北京大學(xué)、清華大學(xué),我的印象中可能還有南京大學(xué)、成都電子科技大學(xué),包含了最優(yōu)秀的一些研究機(jī)構(gòu),訊飛是這個(gè)研究機(jī)構(gòu)里面的牽頭單位,執(zhí)行總裁胡郁是這個(gè)項(xiàng)目里面的首席科學(xué)家。

訊飛還有一個(gè)角色,就是我們是這個(gè)項(xiàng)目的測(cè)試單位。測(cè)試單位就是比如說(shuō)做語(yǔ)文的、做數(shù)學(xué)的,我們提供一些底層的平臺(tái)技術(shù)給大家分享,但是比如說(shuō)有專門去做語(yǔ)文的、做數(shù)學(xué)的,他們做的最后的這個(gè)結(jié)果怎么樣?要測(cè)試。

其實(shí)這個(gè)測(cè)試不是一件很容易的事情,舉個(gè)例子,我現(xiàn)在拿一套題目,這套題目已經(jīng)已經(jīng)在網(wǎng)上能找到了,那我通過(guò)簡(jiǎn)單的搜索手段,我也能把這些題目很好地解答出來(lái),那這個(gè)算不算機(jī)器能夠解答這些問(wèn)題?肯定不算是。所以我們?cè)跍y(cè)試的時(shí)候還要提出一系列的測(cè)試的方法,要保障機(jī)器是通過(guò)真正的后臺(tái)知識(shí)的本體積累和推理分析,能夠就像人一樣把一個(gè)題目進(jìn)行解答。所以訊飛做的測(cè)試機(jī)構(gòu),現(xiàn)在因?yàn)檫€沒(méi)有對(duì)我們各個(gè)試卷在公開(kāi)公正的情況下進(jìn)行一個(gè)全面的測(cè)試,所以你講多少分?可能在大家在場(chǎng)的情況下還不能說(shuō)這件事。

從另外一個(gè)方面來(lái)說(shuō),現(xiàn)在我為什么說(shuō)這個(gè)事情比較復(fù)雜呢?第一,技術(shù)在不斷的進(jìn)步,但是高考本身命題也在不斷的進(jìn)步。其實(shí)現(xiàn)在高考的題目越來(lái)越靈活,越來(lái)越綜合性,所以這些題目的處理對(duì)機(jī)器來(lái)說(shuō)越來(lái)越困難。所以假定我們當(dāng)時(shí)是在2013年和2014年,我們?cè)谶@個(gè)課題的時(shí)候,把2014年作為一個(gè)靜態(tài)的點(diǎn)來(lái)看,我覺(jué)得我們到2019年的時(shí)候通過(guò)2013年的高考絕對(duì)沒(méi)有問(wèn)題,但是我們現(xiàn)在也和有一些考試機(jī)構(gòu)的專家在一起溝通,發(fā)現(xiàn)他們?cè)诔鲞@個(gè)題目的過(guò)程中,很多的題目就必須包含你人都有很多的一些理解,你要做很多中間一些邏輯性的轉(zhuǎn)換,才把一個(gè)題目能做得好。所以我覺(jué)得從這兩個(gè)動(dòng)態(tài)的變化,技術(shù)在動(dòng)態(tài)的變化,考試的題目也在動(dòng)態(tài)的變化,機(jī)器要到2019年或2020年的時(shí)候機(jī)器人通過(guò)那個(gè)時(shí)候的考試,實(shí)際上我覺(jué)得還是有一定的挑戰(zhàn),這個(gè)就是要我們這個(gè)項(xiàng)目組里面大家要做更多的努力。

還有從一方面來(lái)說(shuō),就從整個(gè)未來(lái)高考為社會(huì)選拔人才的角度。我們講社會(huì)進(jìn)入到了一個(gè)人工智能的時(shí)代,因?yàn)槿斯ぶ悄茉诟咚侔l(fā)展,現(xiàn)在講人工智能都會(huì)下圍棋了,他還可以干很多事情。我今天舉了例子,還可以做翻譯,以后可以做那種速記,可以做電話接線員。從一般邏輯來(lái)說(shuō),以后通過(guò)高考的大學(xué)生們,他應(yīng)該不只是會(huì)做機(jī)器會(huì)做的事情。

當(dāng)時(shí)我們做高考機(jī)器人時(shí)候,其實(shí)美國(guó)也有一個(gè)高考機(jī)器人,華盛頓大學(xué)的圖靈研究中心,他們希望他們的機(jī)器要通過(guò)美國(guó)的生物考試。據(jù)說(shuō)日本也有一個(gè)同樣的計(jì)劃,希望他們的這個(gè)機(jī)器是能夠通過(guò)東京大學(xué)的考試。東京大學(xué)(在日本)是最好的學(xué)校,盡管他的機(jī)器已經(jīng)能夠相當(dāng)于日本國(guó)內(nèi)的排名前百分之30的水平,但是講它要通過(guò)東京大學(xué)(的標(biāo)準(zhǔn))我也覺(jué)得(目前)基本不可能,因?yàn)闁|京大學(xué)是比較頂尖的學(xué)校。當(dāng)然就是從技術(shù)的發(fā)展的角度來(lái)說(shuō),我們覺(jué)得達(dá)到前 20% 還是比較有信心的。高考的壓力還是不僅在孩子身上,還要在這個(gè)機(jī)器人身上。

Robert:這個(gè)機(jī)器人我看到他還能閱卷,包括識(shí)別大家寫的主觀題,作文,對(duì)吧?吳總能不能介紹一下,就是這個(gè)開(kāi)發(fā)作文閱卷的機(jī)器人難點(diǎn)是在哪里?技術(shù)上來(lái)看。

吳曉如:實(shí)際上我們今天看到這個(gè)閱卷,是對(duì)作文的閱卷,實(shí)際上作文的閱卷它是一種主觀的,整個(gè)我們?cè)诳荚囍校鼘?shí)際上是有客觀題和主觀題客觀題,比如說(shuō)ABCD,你選了以后他是不會(huì)評(píng)分,是不會(huì)有差異的,但是作文題你即使安排兩個(gè)水平比較高的老師,第一組學(xué)生的作文進(jìn)行評(píng)閱的話,肯定還是有差異的,所以在這個(gè)評(píng)閱過(guò)程中,需要在從很多不同的一些維度,對(duì)這篇作文的水平進(jìn)行評(píng)判。

整個(gè)主觀題的自動(dòng)評(píng)閱技術(shù),實(shí)際上訊飛一條線走過(guò)來(lái),走了很長(zhǎng)的時(shí)間。有一次,一個(gè)我們教育領(lǐng)域的一個(gè)主管的領(lǐng)導(dǎo)到訊飛來(lái),我們給他介紹了相關(guān)一些技術(shù)語(yǔ)音識(shí)別的技術(shù)。他看了以后,當(dāng)時(shí)就產(chǎn)生了一個(gè)聯(lián)想,因?yàn)樗悄菚r(shí)候是主管普通話考試的。所以當(dāng)時(shí)就是說(shuō)這個(gè)技術(shù)我們很需要在中國(guó)考普通話的應(yīng)用上。

(考普通話的應(yīng)用)實(shí)際上以前是一件很麻煩的事,大部分需要測(cè)普通話的都是大學(xué)生。我給你舉個(gè)例子,比如說(shuō)像北京的首都師范大學(xué),大概有六七千學(xué)生以上,那你這六七千學(xué)生要都要考普通話,每個(gè)考普通話的考生需要2到3個(gè),那時(shí)候叫測(cè)試員,測(cè)試員2到3個(gè)老師花10到15分鐘給一個(gè)人測(cè),那你就可以想象到要把六七千學(xué)生測(cè)完是一個(gè)多浩大的工作量,所以那時(shí)候他跟我說(shuō)了:你們能不能去解決這個(gè)問(wèn)題?

那我就在想,機(jī)器該怎么去測(cè)?最后是采用機(jī)器學(xué)習(xí)的方式去測(cè)的。

我們當(dāng)時(shí)是怎么做的呢?第一個(gè),我們要選定一個(gè)學(xué)習(xí)的對(duì)象,最后找了一組最權(quán)威的專家,我們請(qǐng)這組專家給我們留下了很多的測(cè)試樣本,以這些測(cè)試樣本作為我們機(jī)器學(xué)習(xí)的對(duì)象。(相當(dāng)于用)機(jī)器建立一個(gè)模型,用這個(gè)模型來(lái)測(cè)試。

當(dāng)時(shí),我們就在現(xiàn)場(chǎng)考試,我們就把機(jī)器當(dāng)成是一個(gè)測(cè)試員,當(dāng)時(shí)現(xiàn)場(chǎng)考試是有兩百個(gè)考生在考,同樣我們也是一樣的,請(qǐng)了一組高水平的專家對(duì)這兩百個(gè)考生進(jìn)行了評(píng)分,評(píng)分完了以后把這一組專家評(píng)分的平均分作為標(biāo)準(zhǔn),當(dāng)時(shí)現(xiàn)場(chǎng)是有20個(gè)老師在給這200個(gè)學(xué)生在測(cè),機(jī)器當(dāng)成第21個(gè)人來(lái)測(cè),后來(lái)測(cè)試成績(jī)出來(lái)以后,我們講兩個(gè)指標(biāo),第一個(gè)21個(gè)人和機(jī)器結(jié)果都和專家的平均分去比,絲毫不差。第二個(gè)比我們叫相關(guān)度,就是對(duì)一組學(xué)生排序,專家有一組排序,我們機(jī)器有一種排序,結(jié)果(專家的)第一名,(機(jī)器)排序最高。

當(dāng)然,對(duì)整個(gè)普通話測(cè)試來(lái)說(shuō)相對(duì)來(lái)講,因?yàn)樗怯幸粋€(gè)規(guī)范的,所以難度比這個(gè)作文稍微小一些。但其實(shí)沿用的是同樣的思路。

Robert:普通話有兩三個(gè)老師去做這個(gè)評(píng)判,這些老師可能有些是北方的,有些南方的,有西方的,但他們都會(huì)有自己的評(píng)判標(biāo)準(zhǔn)。機(jī)器人改卷如何應(yīng)對(duì)這些主觀性的因素?

吳曉如:機(jī)器學(xué)習(xí),如果讓他學(xué)的是一個(gè)水平很差的(樣本),他肯定最后就是有問(wèn)題。為什么呢?機(jī)器學(xué)習(xí)要有一個(gè)學(xué)習(xí)的對(duì)象和標(biāo)準(zhǔn)。我們希望人工智能學(xué)習(xí)頂級(jí)專家,學(xué)習(xí)結(jié)果能達(dá)到一流專家的水平,能超過(guò)大部分的一般人,這個(gè)事就是對(duì)很多領(lǐng)域里面我們機(jī)器學(xué)習(xí)提出的一個(gè)方法論,所以對(duì)于剛才你講的這個(gè)問(wèn)題也是這樣的。

我們?cè)诟呖荚u(píng)閱作文的時(shí)候,我們看到這個(gè)評(píng)卷的過(guò)程也是比較嚴(yán)謹(jǐn)?shù)?,一般的?lái)說(shuō),首先要一些比較厲害的,就是專家對(duì)一組樣本進(jìn)行打分,打完分以后,所有要參加打分的老師對(duì)這組也要去打分,打完分以后他們要在一起討論打分的一些原則,有哪些原則,然后每個(gè)老師打分的尺度,如果和這一組專家的打分尺度存在一些偏差的話要調(diào)整,它有點(diǎn)像最后測(cè)試的專家,要有個(gè)校準(zhǔn)的過(guò)程,就是機(jī)器學(xué)習(xí)。其實(shí)學(xué)的就是這些訓(xùn)練有素的專家評(píng)分的過(guò)程,應(yīng)該說(shuō)是學(xué)習(xí)的對(duì)象,有保障性。

當(dāng)然我們今天在講高考,實(shí)際上作文評(píng)分還是離不開(kāi)學(xué)習(xí)的問(wèn)題。我們一篇作文題目,寫了作文以后了,機(jī)器給他評(píng)分之前,一般的來(lái)說(shuō)我們需要同樣的這一篇作文就隨機(jī)的去抽取有高分的、低分的,不同代表性的,大概要抽取出來(lái)500份,這個(gè)500份也是高水平的專家去打分。打完分以后機(jī)器去學(xué)習(xí),學(xué)習(xí)比如說(shuō)篇章結(jié)構(gòu)、里面的詞匯、詞句之間的邏輯性,然后不同的段落時(shí)間和語(yǔ)義的關(guān)聯(lián)度,他要學(xué)習(xí)這些維度和最終給的分?jǐn)?shù)之間的關(guān)系,通過(guò)這個(gè)模型得到一個(gè)最終的分?jǐn)?shù),這就是機(jī)器學(xué)習(xí)。

但實(shí)際上在作文評(píng)分里面,機(jī)器里面是有一些文章是不能評(píng)的,大概是什么呢?就是我剛才講500篇作文,它其實(shí)是代表了很多類別作文的范式。(處于這種范式的文章)機(jī)器就能夠去打分,不是處于這些范式的文章,機(jī)器它其實(shí)是有一種技術(shù)指標(biāo),它會(huì)把它抽取出來(lái),抽取出來(lái)的部分會(huì)交給我們專家去打分。

所以這個(gè)地方其實(shí)大概百分之七八十的工作量交給機(jī)器了,機(jī)器也很清楚地知道,比如說(shuō)有一些特別有創(chuàng)意的500篇,里面的范式不能覆蓋的,比如說(shuō)還有一些可能寫得非常離奇,亂七八糟的,這些東西機(jī)器能夠把它找出來(lái),找出來(lái)的部分要讓人去把關(guān)。所以就現(xiàn)在整個(gè)在作文評(píng)分上的應(yīng)用來(lái)說(shuō),一個(gè)是機(jī)器可以處理一部分,和人形成一個(gè)補(bǔ)充,可以降低人的工作量,然后把人的優(yōu)勢(shì)和機(jī)器的優(yōu)勢(shì)很好地發(fā)揮出來(lái)。


Robert:那你覺(jué)得在教育行業(yè)里面,AI會(huì)對(duì)教育這個(gè)行業(yè)會(huì)有什么影響?

吳曉如:實(shí)際上我覺(jué)得從現(xiàn)在我們整個(gè)實(shí)際的一些應(yīng)用情況來(lái)看,整個(gè)人工智能在教育里面會(huì)發(fā)揮非常大的作用。其中最重要的作用,尤其是在中國(guó),因?yàn)橹袊?guó)的教育資源尤其是高端的教育資源其實(shí)是比較缺乏的,中國(guó)在很多中學(xué)、小學(xué)教育里面,它是大班子,一個(gè)班有40個(gè)、50個(gè)學(xué)生,這么多學(xué)生的情況下,老師很難能夠去關(guān)注每個(gè)學(xué)生的學(xué)習(xí)的情況。這時(shí)候怎么辦?這時(shí)候人工智能技術(shù)就正好可以發(fā)揮作用了。

比如說(shuō)針對(duì)一個(gè)孩子上課和老師互動(dòng)的情況,做作業(yè)的一些情況,所有這些東西都可以被轉(zhuǎn)換成數(shù)據(jù)。有了數(shù)據(jù)之后,人工智能他可以對(duì)學(xué)生進(jìn)行分析和畫像。你一個(gè)學(xué)生,你的知識(shí)點(diǎn)問(wèn)題是在一些什么地方,對(duì)你有問(wèn)題的地方機(jī)器就能描述出來(lái),你在這些地方應(yīng)該去加強(qiáng)訓(xùn)練,然后對(duì)于你沒(méi)有問(wèn)題的地方,可能你就不用在這個(gè)上面去花很多時(shí)間。

由這個(gè)我們就可以引導(dǎo)到什么呢?舉個(gè)例子,老師們創(chuàng)造了一種辦法,把課堂分成三截,45分鐘的這個(gè)課分成三個(gè)環(huán)節(jié),這三個(gè)環(huán)節(jié)結(jié)合人工智能的一些應(yīng)用,把它課堂的效率整個(gè)提高了大概30%左右。

除了老師的教課過(guò)程外,學(xué)生學(xué)習(xí)的過(guò)程也可以個(gè)性化。

人工智能在后臺(tái),它能及時(shí)的對(duì)每個(gè)學(xué)生所作課堂表現(xiàn)和測(cè)試題的一些評(píng)價(jià),可以繪制出學(xué)生掌握的知識(shí)結(jié)構(gòu)圖。根據(jù)這個(gè)結(jié)構(gòu)圖對(duì)學(xué)生的出現(xiàn)的一些有缺陷的地方、不足的地方提供一些參考的知識(shí)點(diǎn)的視頻讓學(xué)生去看。然后同時(shí)給學(xué)生布置的一些題目,就是學(xué)生就在這個(gè)上面,特別需要訓(xùn)練的,實(shí)際上他是通過(guò)后臺(tái)對(duì)每個(gè)學(xué)生的分析,給每個(gè)學(xué)生畫了個(gè)像,他這樣的話讓學(xué)生更多地把時(shí)間花在自己叫知識(shí)的黑洞上。這樣的話,讓學(xué)生提高他的效率,不用把時(shí)間花在一些重復(fù)的,已經(jīng)會(huì)的事情上,同時(shí)他可以把時(shí)間更多的解放出來(lái),可以出去搞搞體育活動(dòng)。

進(jìn)來(lái),因?yàn)樗吹矫绹?guó)IBM研發(fā)的機(jī)器人參加了美國(guó)智力問(wèn)答, 我的了解,這個(gè)機(jī)器人每次看到一個(gè)問(wèn)題會(huì)到一些知識(shí)庫(kù)搜索一些相關(guān)的內(nèi)容,綜合出來(lái)一個(gè)最可能對(duì)的答案?那么訊飛的技術(shù)跟這個(gè)是類似嗎?

吳曉如:應(yīng)該說(shuō)這里面這個(gè)技術(shù)有類似的地方也有區(qū)別的地方。有類似的地方,肯定它后臺(tái)要有一個(gè)它的知識(shí)庫(kù)。第二個(gè)就是對(duì)所提問(wèn)的問(wèn)題,應(yīng)該能夠去理解這個(gè)問(wèn)題,然后理解問(wèn)題以后,它才能到知識(shí)庫(kù)里面把這個(gè)可能它認(rèn)為追求的正確的答案調(diào)出來(lái),這個(gè)從理解、從邏輯分析和決策來(lái)說(shuō),我覺(jué)得這個(gè)應(yīng)該是有很多類似的地方。

但是從我們要完成的高考任務(wù)來(lái)說(shuō),比那個(gè)任務(wù)要難很多,原因是第一個(gè),你看現(xiàn)在高考中的很多題目,很討厭,可不是一句話的問(wèn)題,它經(jīng)常是10句話,20句話。所以它一個(gè)題目的字變?cè)蕉?,?shí)際上它這個(gè)題目?jī)?nèi)部的邏輯關(guān)系就越復(fù)雜,一個(gè)題目里面繞來(lái)繞去的轉(zhuǎn)折點(diǎn)就會(huì)越來(lái)越多。比如數(shù)學(xué),數(shù)學(xué)它里面的東西如果是一個(gè)很容易就用定理能夠把它實(shí)現(xiàn)的東西,如果它要把這個(gè)定理繞來(lái)繞去,就很難,所以題面的理解上會(huì)很困難。

第二個(gè),這個(gè)里面大部分是一些偏常識(shí)性的理解,就理解完了以后根據(jù)常識(shí),在后臺(tái)能抓一個(gè)答案過(guò)來(lái)的。但是高考里面比如說(shuō)數(shù)學(xué),像一些題目,這些題目是需要看計(jì)算機(jī)是怎么去表證一個(gè)數(shù)學(xué)定理的,數(shù)學(xué)定理之間的邏輯關(guān)系到底是什么樣?那人工智能這個(gè)技術(shù)要怎么去?把這種知識(shí)要轉(zhuǎn)換成計(jì)算機(jī)可以理解的知識(shí)。

我們經(jīng)常講一些叫知識(shí)的發(fā)現(xiàn)或者要構(gòu)建一個(gè)計(jì)算,對(duì)數(shù)學(xué)、對(duì)語(yǔ)文這些知識(shí)理解的圖譜,所以就從這個(gè)意義上來(lái)說(shuō),應(yīng)該比那個(gè)要難。


0

要評(píng)論?請(qǐng)先注冊(cè)或者登錄


關(guān)注“微號(hào)推”公眾平臺(tái)

微信秘籍一手掌握

微信號(hào):weihaotui

熱門標(biāo)簽

移動(dòng)互聯(lián)網(wǎng)運(yùn)營(yíng)技巧公眾號(hào)推廣技巧

微信營(yíng)銷營(yíng)銷技巧微信推廣案例分析

app推廣微信快訊微信運(yùn)營(yíng)微信公眾號(hào)

自媒體案例營(yíng)銷案例創(chuàng)業(yè)

微信案例微商運(yùn)營(yíng)內(nèi)容運(yùn)營(yíng)

吸粉新媒體微營(yíng)銷創(chuàng)意文案

內(nèi)容營(yíng)銷社會(huì)化營(yíng)銷產(chǎn)品運(yùn)營(yíng)營(yíng)銷

行業(yè)資訊社群微信電商

新媒體運(yùn)營(yíng)用戶運(yùn)營(yíng)朋友圈網(wǎng)紅

互聯(lián)網(wǎng)產(chǎn)品大前鋒資源聯(lián)系人

微信運(yùn)營(yíng)技巧事件營(yíng)銷O2O馬云

微信朋友圈新媒體營(yíng)銷品牌營(yíng)銷文案

用戶微博微信公眾平臺(tái)小程序

微信公開(kāi)課朋友圈營(yíng)銷微商課堂直播

吸粉技巧今日頭條馬化騰推廣

運(yùn)營(yíng)推廣appAPP干貨錦集

社群技巧微商課程H5支付寶

微信應(yīng)用號(hào)騰訊漲粉雷軍

融資H5營(yíng)銷微店熱點(diǎn)

微信小程序KOL粉絲營(yíng)銷互聯(lián)網(wǎng)創(chuàng)業(yè)

漲粉技巧用戶需求APP推廣電商運(yùn)營(yíng)

廣告標(biāo)題微信文案社群營(yíng)銷

京東地推微信大號(hào)運(yùn)營(yíng)案例

app運(yùn)營(yíng)社群運(yùn)營(yíng)知乎互聯(lián)網(wǎng)推廣

產(chǎn)品營(yíng)銷學(xué)習(xí)技巧企業(yè)職場(chǎng)

短視頻10w+阿里微信紅包

SEO課程互聯(lián)網(wǎng)+微信城市服務(wù)微營(yíng)銷案例

文案技巧新形態(tài)公眾號(hào)運(yùn)營(yíng)社會(huì)化媒體營(yíng)銷

推廣app網(wǎng)紅經(jīng)濟(jì)網(wǎng)絡(luò)推廣蘋果下架

互聯(lián)網(wǎng)廣告鳳姐共享單車轉(zhuǎn)行

新媒體編輯公眾號(hào)排版活動(dòng)策劃文章

90后爆文精準(zhǔn)用戶內(nèi)容

數(shù)據(jù)運(yùn)營(yíng)公眾號(hào)文章流量變現(xiàn)工具

產(chǎn)品推廣UGC網(wǎng)易面膜

互聯(lián)網(wǎng)醫(yī)療ASO互聯(lián)網(wǎng)金融眾籌

病毒營(yíng)銷微信運(yùn)營(yíng)工具SEM推廣借勢(shì)營(yíng)銷

微信封號(hào)資源聯(lián)系QQ公眾號(hào)應(yīng)用號(hào)

社會(huì)營(yíng)銷行業(yè)咨詢直播平臺(tái)高考

營(yíng)銷策劃分答推廣案例原創(chuàng)文

餓了么直播APP運(yùn)營(yíng)小白產(chǎn)品需求

CJ奧運(yùn)傅園慧美團(tuán)

滴滴運(yùn)營(yíng)經(jīng)驗(yàn)運(yùn)營(yíng)管理戚繼光

王寶強(qiáng)iPhone社區(qū)營(yíng)銷微信服務(wù)號(hào)

VR運(yùn)營(yíng)學(xué)習(xí)社區(qū)運(yùn)營(yíng)市場(chǎng)運(yùn)營(yíng)

共享經(jīng)濟(jì)摩拜單車溝通技巧百度

無(wú)印良品退回技巧推廣運(yùn)營(yíng)白百合

自媒體營(yíng)銷渠道推廣社交運(yùn)營(yíng)電商推廣

華為推廣回去阿里巴巴UCG

熱點(diǎn)追蹤推廣策劃粉絲留存整合傳播

變現(xiàn)羅輯思維星巴克畢業(yè)

職業(yè)微信新操作新媒體運(yùn)營(yíng)技巧爆款文章

內(nèi)容選題企業(yè)公眾號(hào)品牌活動(dòng)

共享勵(lì)志標(biāo)題黨提升轉(zhuǎn)化

努力成就面試準(zhǔn)備孫正義

信息革命機(jī)器人流量企業(yè)家

失敗產(chǎn)品生命周期用戶流失流失率

王者榮耀用戶參與度圈粉獨(dú)特

淘汰社交社交產(chǎn)品個(gè)性化推薦

風(fēng)口無(wú)聊僵尸粉用戶活躍度

微信支付網(wǎng)絡(luò)支付創(chuàng)新型公司未來(lái)預(yù)判

封號(hào)QQ音樂(lè)場(chǎng)景實(shí)驗(yàn)情感關(guān)系鏈

圖片處理零成本公關(guān)危機(jī)社會(huì)輿論

戰(zhàn)狼2戰(zhàn)狼2票房吳京QQ

信用分掉粉bug獲取用戶

留存ofo小黃車品牌運(yùn)營(yíng)好友刪除

網(wǎng)感信息流廣告程序化廣告管理

經(jīng)營(yíng)奇葩說(shuō)內(nèi)容經(jīng)濟(jì)KPI

小編創(chuàng)意甲方乙方

廣告行業(yè)SEO網(wǎng)絡(luò)引擎優(yōu)化清理好友

高峰論壇品牌推廣網(wǎng)絡(luò)自制劇互聯(lián)網(wǎng)產(chǎn)品

信息泄露教育APP粉絲經(jīng)濟(jì)二次元周邊

二次元工具型產(chǎn)品工具產(chǎn)品黑科技

公眾號(hào)編輯微信排版編輯器團(tuán)隊(duì)活動(dòng)營(yíng)銷

市場(chǎng)產(chǎn)品經(jīng)理行業(yè)物聯(lián)網(wǎng)

引流內(nèi)容付費(fèi)APP運(yùn)營(yíng)用戶體驗(yàn)

粉絲00后