いつ頃から、どうしてハーモニカと呼ぶようになったのか、はっきりした由来もなく、もしかしたら商品名であるかもしれない、という説もある。ドイツで発明されたものだが当時はマウス・オルガンと呼ばれていた。
　日本には、明治24年に初めて輸入され、初めは口琴と呼ばれていた。マウス・オルガンをそのまま邦語訳にしたものと思われる。
　ハーモニー（和音）が吹きやすい楽器でもあり、その意味ではハーモニカという名称は楽器の特性をよく表していると言える。なお、ハーモニカと呼ばれた楽器が、この他にも存在している。その代表的なものが、濡れたコップの縁を指でこするグラス・ハーモニカである。18世紀後半から19世紀初めにヨーロッパにおいて、大いにもてはやされた。もちろん、ここでいうハーモニカとは全く違う楽器の一つである。

　ハーモニカの原型は1821年、ドイツのオルガン製作家クリスチャン・ブッシュマンが発明したものとされている。
　そして、近代ハーモニカの原型を完成させたのがクリスチャン・メスネルで、1827年に製作を開始したことからハーモニカ元年とされている。
　それから現在まで世界中で作られたハーモニカの数は約5億本と言われており、あらゆる楽器の中で最も数多く作られ、広く親しまれているのがハーモニカと言える。

　前述したように、日本に初めてハーモニカが輸入されたのが明治24年とされている。国産ハーモニカの第一号は、明治43年に東京で完成した。
　昭和3年に、浜松でもハーモニカが作られるようになり、我が国の一大生産拠点となった。日本でハーモニカといえば複音ハーモニカのことで、欧米ではシングルハーモニカ（スライド式クロマチック、テンホール・ディアトニックハーモニカ等）を意味している。
このように、世界各国でハーモニカの趣向にも違いが見られる。
我が国のハーモニカの発展の経過は、三期のブームが到来する中、発展してきた。
　第一期は、大正から昭和初期にかけて複音ハーモニカの名手が多く輩出し、学生を中心としたハーモニカバンドが隆盛した。
　第二期は、戦後、器楽教育の振興に伴って教育用のシングルハーモニカが工夫されて大量生産された。数の上で言えば、この時期がハーモニカのピークであったと言える。やがて、鍵盤ハーモニカ（メロディオン等）にとって代わられていく。
音楽教育の中心が鍵盤楽器に移行しはじめたのである。
　第三期は、昭和52年から現在に至るものである。昭和52年は、ハーモニカ生誕150年にあたり、日本で《ハーモニカ150年祭》が盛大に開催された。この時期に脚光を浴びたのは、クロマチックハーモニカとテンホール・ディアトニックハーモニカであった。
　そして現在、これら三期のブームを体験してきた愛好者が共存する中、我が国は生涯学習、余暇活動、ボランティアの時代となり新しい角度からハーモニカを愛好しようとする動きが見られる。地球環境、人にやさしい楽器として、ハーモニカは次なる段階を迎えたと言える。