Ljud är en integrerad del av många IoT -applikationer, inklusive konsumentprodukter som högtalare och hörlurar, bärbara och medicintekniska produkter (t.ex. hörapparater), automatiserings- och industriella kontrollapplikationer, underhållningssystem och fordons infotainment -enheter.
IoT Audio kan i stort sett kategoriseras i tre typer: strömning (dvs. musik, röst och data), röstigenkänning/kommandon och trådlöst via Bluetooth och Wi-Fi-anslutning (t.ex. strömmande flerkanalsljud över Wi-Fi till ett hem-surroundljudsystem). Att utforma högkvalitativa, oavbrutna akustiska ljudundersystem kan emellertid vara utmanande när ingenjörer måste följa de strikta begränsningarna som krävs för IoT-baserade enheter.
Mer komplexa mönster krävs för att inkludera avancerade funktioner som röstigenkänning, som att låta förare styra infotainment-systemet i sin bil på samma handsfria sätt som en mobiltelefon. Eftersom MCU är kärnan i alla dessa ljudsystem är det viktigt att välja en MCU som integrerar de nödvändiga ljudteknikerna som krävs för att utforma ett pålitligt brusfria ljudsystem. Denna artikel undersöker ljudteknologier som kan användas för att utforma sådana system.
Komponenter i ett ljudsubsystem
IoT Audio involverar tre huvudaktiviteter: Steam High-kvalitet röst/data, trådlös överföring och röstreorganiseringskontroll. Figur 1 visar de viktigaste byggstenarna i ett inbäddat system.

Detta blockdiagram visar de viktigare byggstenarna i ljudbehandlingsundersystemet
Observera att många av dessa funktioner kan integreras i moderna MCU: er, till exempel Cypress CYW43907 med integrerad Wi-Fi 802.11n som används i detta exempel. Några av de viktiga ljudteknikerna som kan inkluderas i ett IoT-baserat system inkluderar:
Musikapplikationer
Audio-aktiverade MCU: er tillåter ingenjörer att avkoda MP3/4-strömmar som används av de flesta populära mediaspelare och innehållsleverantörer. Många mönster måste också stödja WMA och Apples AAC -avkodning, vilket kräver ytterligare bearbetningskraft. I konsumentljudapplikationer kan billiga Audio MCU: er ofta användas genom att hantera digitala musikströmmar från ljudtillbehör som digitala högtalaruppsättningar.
I dessa applikationer anländer en ram av PCM -ljuddata (inkapslade i ett USB -ljudklassformat) varje 1 ms till en av processorns SPI/I²C seriekanaler. Beroende på källan kan ljudströmmen anlända i ett av flera format (dvs., vänsterjusterade, högerjusterade, i2s, etc.). Vissa billiga codecs kan emellertid bara acceptera vissa format. I dessa fall spelar MCU en viktig roll för att säkerställa att uppgifterna är korrekt anpassade innan de matas till Codec.
Eftersom inte alla ljudkällor använder samma provtagningshastighet, måste Codec också anpassa sin provtagningsfrekvens till källan eller förlita sig på MCU för att konvertera den provade dataströmmen till en gemensam datahastighet (se figur 2). I dessa fall måste MCU hantera strömmen för att undvika under- eller överbelastningsförhållanden som kan leda till mutes, pops och ljudavbrott som kan orsaka dataförlust och störa användarupplevelsen. Observera att Audio MCU också kan användas för att implementera andra funktioner i ljudundersystemet, till exempel att kontrollera belysning under ljuduppspelning.

Ljud MCU kan behöva utföra formatomvandling, provhastighetsjustering och strömhantering samt stödja ljudanvändargränssnitt.
För att implementera ljud i ett brett utbud av applikationer måste Audio MCUS stödja en mängd olika ljudtekniker. Figur 3 visar exempel på dessa ljudteknologier.

ljudteknik
Ljudkodek
Ljudkodek är den huvudsakliga front-komponenten i ett ljudsystem. Många MCU: er byggda för IoT -applikationer stöder codec -funktionalitet i hårdvara. Detta gör att systemet kan minska storleken på digitala ljudprover för att påskynda trådlös överföring (spara kraft) och spara lagringsutrymme (minska belastningen på intern minneskapacitet). Codec kan stödja olika ljudstandardformat som AAC, AC -3 och ALAC. För att göra det kräver det en avkodningsenhet (AU), som implementeras före någon ljud efter efterbehandling (t.ex. DSOLA, SOLA). När de används med standardljudformat som AAC, AC -3 och ALAC kategoriseras ljud på ett sådant sätt att efterföljande ljudprover ligger inom det föreskrivna formatet som anges i ljudpaketets dataström. Paketavståndet hanteras också för att möjliggöra minimal korslitter och oavbruten drift i närvaro av trängsel. AU -nyttolaststorleken möjliggör exekvering av alla dolda som måste utföras.
Basbandsbehandling
En basbandssignal är den grundläggande gruppen av frekvenser i en analog eller digital vågform som kan bearbetas med elektroniska kretsar. En basbandssignal kan bestå av en enda frekvens eller en grupp frekvenser eller, i den digitala domänen, en ström av data som skickas över en icke-multiplexerad kanal. Basband definieras som basbandet (signal/andra) blandad med bärarsignalen för att producera en modulerad signal. Observera att i MCUS som stöder IoT -ljud integrerar Audio Codec basbandsbehandling och RF på ett enda chip. Ljudkoden kan implementeras i en mängd trådlösa sändtagare för att tillhandahålla röstdata och/eller musikfunktionalitet. Codec har också mono- och stereokanaler för ljudutgång, såväl som stereoingångar.
Paketförlust dolda och datareplikation
Överdriven latens, paketförlust och jitter med hög latens kan försämra kommunikationskvaliteten. Sannolikheten för plötsligt paketförlust ökar med nätverksbelastning och resulterar i avbrott som kan höras av användaren. Robust ljudöverföring över Wi-Fi kan förbättras med avancerade funktioner som Cypress's paketförlustteknik. Systemarkitekturkällan/mottagaren är som följer: En källa fångar ljudet, multiplexerar PCM -data genom RTP -strömstrukturen och synkroniserar klockan med alla mottagare anslutna till PLC -källan.
Observera att prestandan för kommunikationslänken beror på kvaliteten på länkbudgetprestanda. Denna länkbudget bestäms av tre faktorer: överföra effekt, överföra antennförstärkning och få antennförstärkning. Till exempel är tillförlitlig kommunikation över ett 802.11 -nätverk möjligt om kraften i länkvägen minus förlusten av tillgängligt utrymme är större än den minsta mottagna signalnivån för den mottagande radioen (se figur 4).

Prestandan för en kommunikationslänk beror på kvaliteten på länkbudgetprestanda
Talförbättring (SIE)
Bakgrundsbrus i ljudsystemet kan minska talets förståelse. Om bruset överstiger en viss nivå kan talet vara svårt för användaren att förstå. Tillgängligheten till kontinuerligt taligenkänning i realtid på inbäddade enheter kräver ett system som förbättrar förståelsen av brusskadat tal. Att välja ett MCU som stöder porting och optimering av ett vanligt förekommande system för stort ordförråd (kontinuerligt taligenkänning (LVCSR) kan förenkla utvecklingen.
Upptagande av frasen
Denna avancerade funktion gör det möjligt för användare att slå på systemet handsfree genom att aktivera enheten med sin röst.
Effektiv multicast till en eller flera högtalare
Multicasting är en metod för nätverksadressering som används för att skicka meddelanden till en grupp mål samtidigt med den mest effektiva strategin. Meddelanden levereras endast en gång genom varje länk i nätverket, och kopior skapas endast när nästa länk delas upp till flera destinationer, vanligtvis på nätverksomkopplare och routrar. Liksom användardatagramprotokollet (UDP) garanterar multicast emellertid inte leveransen av meddelandeströmmen, vilket kan leda till att meddelandet kasserar eller oorganiserad leverans av meddelande. Pålitlig multicast (RMC) tillhandahåller erkännanden för multicast -paket (endast paket) så att vissa specifika multicast -paket kan levereras pålitligt. Sändaren väljer mottagaren med den svagaste RSSI för att erkänna ramen. I en IoT-miljö innebär implementering av RMC att Wi-Fi-sändaren väljer en av de många Wi-Fi-mottagarna för att erkänna rammottagning. Sändaren väljer mottagaren med den svagaste RSSI för att erkänna ramen. Implementeringen använder ett operativt ramverk som innehåller proprietära RMC -informationselement för att meddela och möjliggöra bekräftelse. Implementeringen innehåller också RMC-specifika Wi-Fi-drivrutiner för att ställa in multicast MAC-adressen och för att aktivera och inaktivera RMC.
För ljud och video med fasta och symmetriska överföringsförseningar uppfylls tidssynkroniseringskraven; Till exempel kan RMC förlita sig på mycket noggrann tidpunkt och synkronisering för smidig cell-till-cellöverföring av röst, video och mobildata. Att uppnå mycket noggrann och exakt timing är inte lätt ur teknisk synvinkel, så det är viktigt att hitta implementeringar som kan verifieras för att uppfylla applikationskraven.
Inramningsformat, framåtfelkorrigering och paketreplikation
För ljudströmning är det kritiskt att klockan synkroniseras med alla Wi-Fi-mottagare. Ett tillvägagångssätt är att använda en gemensam klocka för både käll- och mottagarenheter, ofta kallad en väggklocka eller systemklocka (STC). Först synkroniserar varje mottagare (mottagare) sin STC (väggklocka) med källan/sändarens STC (Master Wall Clock). Varje mottagare kan nu återställa sändarens klocka eftersom den tidsstämpel som infogas av källan (tillgänglig i den utökade rubriken för varje RTP -paket) återspeglar det samplade ögonblicket för media relativt den gemensamma klockan.
STC är baserad på Grandmaster Clock -värden som beskrivs i 802.1AS -specifikationen. Eftersom alla mottagarenheter är medvetna om sambandet mellan STC och källenhetens medieklocka (eftersom den hänför sig till RTP- eller Media -tidsstämpeln), kan varje mottagare rekonstruera en kopia av källenhetens RTP -medieklocka och köa dess utgång i enlighet med korrekt återgivning. Transparent klockning är där hårdvaran/ucode kan tidsstämpel -paket mottagna och överföras så nära MAC/PHY -gränssnittet. Även om detta klockvärde inte används för uppspelning, kan det användas för att mäta jitter i hela systemet och utföra en fullständig prestationsanalys.
Exempel på ett smart hemljudsystem
För att förstå IoT -ljud i sammanhang, överväg det smarta hemexemplet och rollljudet kan spela för att förbättra den övergripande funktionaliteten i ett smart hemsystem. Ett hem blir ett smart hem när enheterna och apparaterna i det kan kommunicera med varandra och de människor som bor där. Genom att öka vår samtrafik förbättrar smarta hem vår livskvalitet och ökar vår säkerhet.
Ett av de viktigaste användningsfallen för ljud i Smart Home är att lagra och dela ljud över Wi-Fi eller Bluetooth. Valet av Wi-Fi över BLE varierar beroende på applikation och beror på krav på intervall och ljudkvalitet. Till exempel kan en hemkontroll spela ett specifikt ljud i varje rum i huset om någon ringer dörrklockan vid dörren, snarare än att bara ansluta klockan i en del av huset. På liknande sätt kan styrenheten begränsa ljudet till specifika rum, till exempel i en plantskola för spädbarn. Inbäddade styrenheter hjälper till att bearbeta detta ljud och göra systemet smartare genom att hantera olika utgångskontrollfunktioner.
Playback Audio Systems
Uppspelning av ljudsystem har blivit en viktig applikation på ljudmarknaden. Trådlösa ljuduppspelningssystem är kärnan i det smarta hemmet, samlar många olika smarta enheter i hemmet och fattar intelligenta beslut på användarens vägnar. Till exempel kan ett ljudsystem styra belysningsmönstren i ett hus baserat på musiken som för närvarande spelar. Den kan också använda text-till-talkonvertering för att läsa användarmeddelanden eller e-postmeddelanden högt. Användare har också möjlighet att skapa zoner i ett ljudsystem med flera rum genom att använda nätverksbara ljudenheter, till exempel trådlösa högtalare i olika rum i huset. Detta tillvägagångssätt skapar ett helt ekosystem för att säkerställa att hemmet alltid arbetar med toppeffektivitet samtidigt som interaktioner minimeras med de människor som bor där. För att skapa ett sådant ekosystem måste IoT-designers välja en inbäddad mikrokontroller med rätt prestanda och ljudbaserade funktioner som har optimerats för IoT-applikationer.
Digital signalbehandlingseffekter
Ljudsignalbehandling inom den digitala domänen är en viktig del av alla ljudsystem innan du överför ljuddata över en trådlös länk. Denna bearbetning innebär vanligtvis att mäta, filtrera och/eller komprimera ljudanalog signal. Inbäddad MCUs med integrerad DSP -funktionalitet möjliggör effekter såsom tillägg av en digital mixer och stöd för fjärrkontrollfunktioner. Med en 5- Band Equalizer för varje kanal kan ljuduppspelning vara smart integrerad med de flesta sequencer -applikationer för att skapa ett kraftfullt studiosystem.




