在长江的中下游，江边常见凸出水面的山岩，三面环水，单面靠岸，人们称之为“矶”。长江沿岸的大型石矶共有七十多处，有些石矶具备天然渡口的条件，有些可以作为江岸上的天然壁垒。在众多石矶中，最出名的就是长江三矶：南京燕子矶、马鞍山采石矶、岳阳城陵矶，其中燕子矶为长江三矶之首。
燕子矶位于江苏省南京市栖霞区江边的直渎山上，三面悬绝，突兀江上，如燕子般欲展翅飞掠江面，故得名燕子矶。直渎山并不高，只有四十多米，却地势险要，燕子矶雄踞山上，总扼大江，在古代是渡江的绝佳渡口和扼守古都南京的军事重地。燕子矶因其独特的地理位置和重要性，被称为万里长江第一矶，位列长江三矶之首。
燕子矶西南的长江南岸有一座长约5.5公里的丘陵山脉，西起上元门，东至燕子矶，这就是幕府山。幕府山的得名据说和东晋宰相王导在此设幕府有关。西晋永嘉之乱，大批宗室贵族南渡，琅琊王司马睿带着王导从燕子矶渡江至建邺（南京）。西晋灭亡后，司马睿在南京登基称帝，为东晋开国皇帝。不过，据考古发现，早在东吴时期，此山就叫“莫府山”了，“莫”通“幕”。
在古代南北对峙时期，北方势力要想攻灭以南京为中心的南朝，主要有东西两条战线，西部走荆襄，东部走江淮，不管怎么走，必然要面临长江天险，过不了江，一切都是虚幻，只有渡过长江，一切才皆有可能。除了燕子矶外，在南京周边不远处还有两个最主要的渡口：马鞍山采石矶和镇江瓜洲渡。不过，燕子矶是距离古都南京最近的长江渡口，和幕府山组成防御江北入侵之敌的战略屏障。敌人从采石矶或瓜洲渡渡江，南京还有缓冲时间，但是燕子矶若守不住，过了江就兵临城下，南京就基本上没戏唱了。南朝梁末，北齐渡江南攻，陈霸先就是坚守幕府山和燕子矶，大破北齐军，使得北齐南下的计划破产。
南宋建炎三年（公元1129年），金兀术率兵南下攻宋，占领了建康等地，宋高宗赵构逃到海上，才没被俘。金军劫掠后北撤，被南宋名将韩世忠阻截，爆发了著名的黄天荡之战。此战金兀术大败，被围近50天，差点完蛋了。黄天荡在哪里？有种说法认为就是和幕府山采石矶隔江对望的江心小岛---八卦洲。元末，朱元璋南下南京也是从燕子矶渡江。
燕子矶和其西南的幕府山不但组成一道江边的防线，还组成一道风光绝美的风景线。矶头登高，看长江滚滚，浩浩荡荡，甚是壮观。历史上无数的迁客骚人到处游览，留下脍炙人口的诗篇。就连帝王到此都禁不住赞叹，如爱下江南巡游的乾隆皇帝，六次下江南，五次登临燕子矶，如今燕子矶上还有乾隆登顶的“南巡蹬道”。乾隆玩得开心，亲笔给燕子矶题名，还诗兴大发，留下一首七绝：“当年闻说绕江澜，撼地洪涛足下看。却喜涨沙成绿野，烟林相凿久相安。” 清初金陵四十八景，这里就有六景：“燕矶夕照“、“永济江流”、“嘉善闻经”、“化龙雨地”、“幕府登高”、“达摩古洞”。
正因为燕子矶地位的实在太重要了，当外敌入侵时，这里也会成为首先被攻占之地。鸦片战争时，侵华英军就是从燕子矶抢滩登陆，直逼南京。1937年，侵华日寇在南京大屠杀，采石矶江滩有超过五万国人被屠杀，如今的燕子矶公园内还有遇难同胞纪念碑。