人类早发现铁是从天空落下的陨石，陨石含铁的百分比很高（铁陨石中含铁90.85%），是铁和镍、钴的混合物。考古学家曾经在古坟墓中，发现陨铁制成的小斧；早在古埃及4000年前的第五王朝至第六王朝的金字塔所藏的宗教经文中，就记述了当时太阳神等重要神像的宝座是用铁制成的。铁在当时被认为是带有神秘性的的珍贵的金属，埃及人干脆把铁叫做“天石"。在古希腊文中，“星”与“铁”是同一个词。
有铁制物件早发现于公元前3500年的古埃及。它们包含7.5%的镍，表明它们来自流星。古代小亚细亚半岛（也就是现铁的用处和历史今的土耳其）的赫梯人，是个从铁矿石中熔炼铁的，约公元前1500年这种新的，坚硬的金属给了他们经济和政治上的力量。铁器时代开始了。某些种类的铁明显优于其它的，依赖于它的碳含量，尽管这并不被赏识。某些铁矿石包含钒，生产出叫做大马士革的钢，很适合制剑。
在我国，从战国时期到东汉初年，铁器的使用开始普遍起来，成为了我国主要的金属。铁的化合物四氧化三铁就是磁铁矿，是早期司南的材料
1978年，在北京平谷县刘河村发掘一座商代陵墓，出土许多青铜器，引人注目的是一件古代铁刃铜钺，经鉴定铁刃是由陨铁锻制的，这不仅表明中国早发现的铁也来自陨石，也说明我国劳动人3300多年前就认识铁并熟悉了铁的锻造性能，识别了铁和青铜在性质上的差别，并且把铁用于锻接铜兵器，以加强铜的尖利性。