随着士兵马匹的到来，外地的农夫也来此垦殖田地，逐渐定居下来，早期的方言也就随之而来。当时的人员结构大多是吴地的居民，所以以“军语”为主，“军语”即是靖江地区的土著语言。以靖江最早名“牧马大沙”为例，因吴语中的“牧”与“白”谐音，“大”与“驮”同音，因而“牧马大沙”被说成“白马驮沙”，人们说习惯了就被简称为“马驮沙”，故“马驮沙”成为靖江早期的名称，并在各地方志中出现。吴语从一开始就是主要语言，之后在孤山附近形成的地区说的都是吴语中的老岸话