義和團的所作所為，以現代文明的標準，當然無異於暴行，但如此大爆發的暴行，是從哪裡來的呢？當時的有識之士不乏洞見，更可謂英雄所見略同。
譬如口述「庚子西狩叢談」的吳永，認為義和團的形成與爆發是：「奸民倡之，愚民和之，遊民暴民益乘勢而助長之。」
奸民，應該是指略受過教育，「知啲唔知啲」的人，或可稱「小知識分子」，可以用 a little knowledge is a dangerous thing 來形容；愚民則比較容易理解，以當時的教育水準而言，可以斷言絕大多數普通人都是文盲。
但他對遊民、暴民的形成有深入分析。他認為遊民是經濟衍生，由於經濟凋敝，「因惰而遊，因遊而貧」，平時聚集在城市角落，成為邊緣族群，總是在尋找機會「苟圖衣食」。由於長期無業無產，遊民又再質變，「因愚而頑，因遊而暴」：愚昧而變得頑固，因沒有生計可圖，「冒險樂禍，恣睢暴戾之心生焉…… 恣意焚掠以饜其所欲」，便成為暴民。
根本癥結在於兩點：
一，民智過陋，缺乏普通交互，耳濡目染，只有小說戲劇之兩種觀感。
小說中佔據主導地位的「勢力」，無非兩大派：一是封神西遊，二是水滸，前者講仙道魔法，後者講草莽暴力，這兩派思想混雜，構成義和團的起源。
二，北方人民，生活省吝，性多媮（偷）惰，謀生之途太窄，稍一不慎，往往不能自振，以至於失業。
這話聽來不免有點「地域歧視」，因為吳永本身是浙江人，妻子又是曾國藩的孫女，是堅定的洋務派，相比於言必「祖宗家法」的守舊派，自然更懂得民生經濟之至關重要。當時大清已是南北顯著分野，義和團肆虐局限於山東、河北、山西，其中山東、河北兩省又經歷各種天災，毗鄰的河南、安徽卻安然無事；不但如此，江南與廣東已大規模進口糧食，不知這是否南北經濟差距的因素之一。
另一位公認遠見卓識的嚴復，看法也和吳永一致，稱義和團的組成為「妖民愚豎」。
嚴復所稱的「妖民」，應該是與吳永所謂的「奸民」同類：這種人擁有一些似是而非的道理，各種半桶水的知識訊息，但足以迷惑人心。「愚豎」就是愚昧無知，不學無術；豎，一般指的是社會底層族群。嚴復也說他們是「愚妄憤戾」，雖然「其中不可謂無愛國者」，但由於他們的觀念與行為，完全出於野蠻，與文明的衝突，終於不可避免。
對於這群可憐的野蠻人，嚴復其實是生出一絲悲憫的：畢竟到頭來義和團承擔了所有惡名，「無以自解於天下」。也許是親睹義和團激情大爆發的後果，加上翻譯英國典籍的長期熏陶，即使民國成立，他還是保持一貫的冷靜態度：「諸公常望政府以熱心，而不佞則竊願國人以冷腦。熱心出於感情，而冷腦由於思理，感情徒富而思理不精，課其終效必恆誤國。」
嚴復這番話，可能是受到英國大思想家柏克（Edmund Burke）的啟發，兩者所言的 context 也有相似之處，有感於法國大革命，柏克也說：「除非有一種對意志和欲望的約束力，否則社會無法存在。內在的約束力愈弱，外在的約束力就愈強…… 不知克制者不得自由，正是他們的激情鑄造了他們的鐐銬。」
Society cannot exist, unless a controlling power upon will and appetite be placed somewhere; and the less of it there is within, the more there must be without…that men of intemperate minds cannot be free. Their passions forge their fetters.
