香港扼守珠江口，位處太平洋和印度洋的航運要道之中。當世界進入大航海時代，香港也與各個海洋勢力相遇。在明代，香港除了應付來自葡萄牙的商旅和軍隊，例如 1521 年的屯門海戰，也要面對日本倭寇來襲。
明代嘉靖年間（1522 年至 1566 年），有所謂的「嘉靖大倭寇」：東部沿岸海盜問題嚴重。那批海盜有一大部分來自日本，當時日本正值戰國時代，很多浪人武士無以維生，於是拼死一搏，遠洋到中國掠劫。1523 年的寧波之亂是其中一個轉捩點，日本大名細川氏和大內氏爭相遣使朝貢，結果在浙江寧波一帶爆發衝突，禍及不少明朝官兵和百姓，朝廷一怒之下中斷與日本的貿易往來，令日本物資更短缺，激發更多日人加入倭寇隊伍。
不過史學家也指出，倭寇成因，甚至種族構成都十分複雜。明朝的海禁政策令很多沿岸中國民眾三餐不繼，於是和日本倭寇合作，另外也有朝鮮半島的貧民參與其中，到後來日本人可能只佔這班倭寇的少數，「明史日本傳」就有云：「大抵真倭十之三，從倭者十之七」。香港海洋史學家譚廣濂提及，香港本來有一些蜑家人在船上居住，後來遷往島嶼定居。他們平時捕魚為生，但偶爾也會參與海盜活動。
這些倭寇原來集中洗劫浙江一帶，後來向南慢慢擴展到廣東沿岸，當中包括香港。有史學家考究指，早在 14 世紀，朝廷已經在東莞縣設立守禦千戶所，防禦範圍涵蓋今天香港一帶。隨著倭寇日漸猖獗，香港地區亦成為廣東沿海邊防體系的戰略要點，扮演前哨基地角色。顧炎武的「天下郡國利病書」提到「海寇有三路，設巡海備倭官軍以守之」，香港就屬於中路，「自東莞南頭城，出佛堂門、十字門、冷水角諸海澳」，佛堂門即今天清水灣半島以南一帶。
有時候，倭寇經福建到廣東，一時無法登岸，會向東莞方向駛去，可能會經過今天香港的屯門、大嶼山、佛堂門等地，這些地方甚至可能被倭寇用作泊岸潛匿之地。這道中路防禦線就能截殺倭寇。史學家指出，1550 到 1570 年時，香港方面的任務主要由駐紮東莞和大鵬的千戶所肩負。不過在 1570 年，明政府就改立官富巡檢司，駐兵作防守。在宋朝時期，今天九龍灣沿岸已開發出多片鹽田，古稱官富場，大概就是今日九龍灣一帶。
在 16 世紀至 17 世紀初，時不時有倭寇劫掠中國沿海各地，他們甚至會和葡萄牙勾結，並在雙嶼港一帶進行貿易。1614 年，兩廣總督張鳴岡曾上奏朝廷，提及日本人在澳門得到葡萄牙人庇護，朝中亦有人建議把葡萄牙人和日本人一併驅逐。不過 16 世紀末明朝解除海禁後，參與民眾減少，寇患也慢慢平息。自從明政府確立在廣東沿海邊防體系後，屯門、佛堂門、大澳、東涌等地名亦時常在朝廷文獻出現，不少明朝水師戰船平時會在今天屯門、佛堂門海面停泊。香港海防體系在平息倭寇之後，還繼續發揮重要作用，包括在 17 世紀擊退荷蘭入侵者。
