葡萄牙人来到中国，不是永乐年间，而是正德年间，所以就更不会有什么故事发生。因为这时的明朝“朝廷”，早已习惯关起门来过日子，所以十分轻蔑地打发了使者，让其回国。但是葡萄牙使者——有记载说是葡萄牙国王曼努埃尔一世所遣，名叫托梅·皮雷斯(Tome Pires)——虽然被遣“还国”，但一直迁延不去，不但自己在广州市舶司的“怀远驿”住了下来，“筑室立寨，为久居计”，并且还留下了一位名叫“亚三”的“火者”，即名叫“亚三”的被阉男子。这位“亚三”不但多才多艺，而且通晓华语，成了明武宗正德皇帝的贴身宦官。但后来人们发现，此人原来不是通“华语”的“夷人”，而是通“夷语”的“华人”。这个事情也说明，尽管明朝朝廷还在“禁海”，明朝的士大夫还全然不明白“西洋”，更毋论“大西洋”的情况，但中国东南沿海的民众，特别是经常出海或者在东南亚定居的华人，已经和葡萄牙人打成一片了。比如长年在吕宋的两万多华商，也早和西班牙人、吕宋人互通有无、和平共处，只是因为万历皇帝要去那里开矿、寻找“金豆豆”，而不是通商贸易，才给他们带来了灾难。
不断有言官建议，要驱逐滞留在中国的葡萄牙人，甚至还有人提出，应该勒令葡萄牙人退出占据的“满剌加”，因为那里从郑和下西洋以来就是明朝的“属国”。但是，这只是明朝的一厢情愿。事实是，沿海地区通过和葡萄牙人交易，取得了可观的经济效益。当时的广东布政使吴廷举，为了筹集上贡给朝廷的香料和其他“舶来品”，对葡萄牙人网开一面，不但允许其出入珠海、货物往来，而且允许进入广州自由贸易。这样，不但给朝廷的贡物有了着落，广东的官员也更加富裕起来，因为他们的薪水开始用海外的舶来品支付，变卖之后，收益比朝廷给的十分可怜的薪水要高得多。嘉靖九年(1530)，福建莆田籍巡抚林富直接上疏，提出和葡萄牙通商有“四利”，否则，“公私皆窘”：