OpenMV与STM32通信实现数字识别、最大色块检测和OLED显示

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

       笔者为参加 2024 年电赛控制类题目，意识到 OpenMV 图像识别极为关键，尤其是对于送药小车数字识别功能的实现。于是对 OpenMV 展开学习并上网找资料，特别关注 OpenMV 与 stm32 如何进行数据传输，看到资料后产生传输多种不同数据的想法，如单个字符和各种特定信息而非固定的几个值，经过努力尝试最终实现，期望把这段学习理解过程记录下来以助他人。

 最大色块的识别，可以去参考这个链接，具体实现了传输色块坐标并且将坐标信息打印在上位机。https://blog.csdn.net/m0_51661679/article/details/118936152

以及超详细OpenMV与STM32单片机通信 (有完整版源码)-CSDN博客

笔者想进一步实现送药小车的数字识别，经过更改程序，写出了传输不同数字信息的代码。并且对于stm32与openmv通信有了更深的理解。让识别到的信息实时显示到oled上，同时实现脱机运行，效果得到验证。

1.OpenMV如何与STM32进行通信？

        OpenMV和STM32之间可以通过多种方式进行通信，其中一种常见的方法是使用串口通信。

将openmv的RX与stm32的TX相连，TX与RX相连。即可实现串口通讯，同时配置要设定一致。

例如：

openmv端

uart = UART(3, 115200)
uart.init(115200, bits=8, parity=None, stop=1)

stm32端主要通过CubeMx配置串口，切记打开中断。如何打开的可以参考我放的链接的博客。

通过openmv打包数据包的格式发送到stm32，stm32收到后进行解析。

定义全局变量

/* USER CODE BEGIN PV */
uint8_t usart1_Rxbuff;
/* USER CODE END PV */

主函数里面加上串口接受中断开启。

HAL_UART_Receive_IT(&huart1,(void *)&usart1_RXbuff,1);

然后进行回调函数的接收

/* USER CODE BEGIN 4 */
void HAL_UART_RxCpltCallback(UART_HandleTypeDef *huart)
{
  uint16_t temp;
  if(huart->Instance==UART1)
  {
    temp=uart1_rxbuff;
    Openmv_Receive_Data(temp);
  }	
HAL_UART_Receive_IT(&huart1,(void *)&uart1_Rxbuff,1);
}


/* USER CODE END 4 */

 在这段代码中，假设USART1_RXbuff是一个全局变量，用来存储接收到的数据。当接收到数据时，将其存储在temp变量中，然后调用Openmv_Receive_Data()函数进行处理。最后，通过调用HAL_UART_Receive_IT()再次启动串口接收中断，以便接收下一组数据。

2.具体实现

2.1 OpenMv端代码

2.1.1 （最大色块）

from pyb import UART, LED
import json, ustruct, sensor, time
import lcd
red_threshold = (1, 2, -73, 41, -72, 54)
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QQVGA2)
sensor.skip_frames(10)
sensor.set_auto_whitebal(False)
sensor.set_hmirror(True)
sensor.set_vflip(True)
clock = time.clock()
uart = UART(3, 115200)
uart.init(115200, bits=8, parity=None, stop=1)
lcd.init()
def find_max(blobs):
	max_size = 0
	for blob in blobs:
		if blob[2] * blob[3] > max_size:
			max_blob = blob
			max_size = blob[2] * blob[3]
	return max_blob
def sending_data(cx, cy, cw, ch):
	global uart;
	data = ustruct.pack("<bbhhhhb",
				   0x2C,
				   0x12,
				   int(cx),
				   int(cy),
				   int(cw),
				   int(ch),
				   0x5B)
	uart.write(data);
while(True):
	clock.tick()
	img = sensor.snapshot()
	blobs = img.find_blobs([red_threshold])
	if blobs:
		max_blob = find_max(blobs)
		img.draw_rectangle(max_blob.rect())
		img.draw_cross(max_blob.cx(), max_blob.cy())
		cx = max_blob[5]
		cy = max_blob[6]
		cw = max_blob[2]
		ch = max_blob[3]
		OUT_DATA = bytearray([0x2C, 0x12, cx, cy, cw, ch, 0x5B])
		uart.write(OUT_DATA)
		print(OUT_DATA)
	lcd.display(img)

 2.1.2数字识别

import time, sensor, image
from image import SEARCH_EX, SEARCH_DS
from machine import UART
import lcd

sensor.reset()
sensor.set_contrast(1)
sensor.set_gainceiling(16)
sensor.set_framesize(sensor.QQVGA2)
sensor.set_pixformat(sensor.GRAYSCALE)
sensor.set_hmirror(True)
sensor.set_vflip(True)
uart = UART(3, 115200)
uart.init(115200, bits=8, parity=None, stop=1)
templates = ["/1.1.pgm", "/1.pgm", "/2.pgm"]
lcd.init()  # 初始化 lcd 屏幕。

clock = time.clock()
while (True):
    clock.tick()
    img = sensor.snapshot()
    for t in templates:
        template = image.Image(t)
        r = img.find_template(template, 0.70, step=4, search=SEARCH_EX)
        if r:
            x, y, w, h = r
            if t == "/1.1.pgm" or t == "/1.pgm":
                cx=1
                cy=0
                cw=0
                ch=0
                img.draw_string(x, y, "1", color=(255, 255, 255))
            elif t == "/2.pgm":
                cx=2
                cy=0
                cw=0
                ch=0
                img.draw_string(x, y, "2", color=(255, 255, 255))
            img.draw_rectangle(r)
            OUT_DATA =bytearray([0x2C,0x12,cx,cy,cw,ch,0x5B])
            uart.write(OUT_DATA)
            print(cx,cy,cw,ch)
    lcd.display(img)  # 拍照并在 lcd 上显示图像。

 在这里我的代码数据包与上面的雷同，其实主要是为了方便大家理解，我们主要识别图片1.1.pgm和1.pgm都是数字1，所以我们发送1 0 0 0，让32只接收第一个数据就好了或者说是只打印出来，2的原理一样。其他的数字我们可以同理扩展。

2.2.stm32端代码

2.2.1 openmv.c（openmv接收信息处理函数）

主要步骤为OpenMv发送数据包，stm32接受数据包并且处理打印到电脑上或者显示在oled上。（笔者用的是显示在OLED上）

openmv处理

#include "openmv.h"
#include <stdio.h>
#include "usart.h"
#include "oled.h"

static uint8_t  Cx=0;
//static	uint8_t Cy=0,Cw=0,Ch=0;
uint8_t display_buf[20];

void Openmv_Receive_Data(int16_t Com_Data)
{

  uint8_t i;
	
	static uint8_t RxCounter1=0;//
	
	static uint16_t RxBuffer1[10]={0};
	
	static uint8_t RxState = 0;	
	static uint8_t RxFlag1 = 0;
	
  if(RxState==0&&Com_Data==0x2C)  //0x2c
		{
          
			RxState=1;
			RxBuffer1[RxCounter1++]=Com_Data;
      HAL_GPIO_WritePin(LED_GPIO_Port, LED_Pin, GPIO_PIN_RESET);
			
		}

	else if(RxState==1&&Com_Data==0x12)  //0x12
		{
			RxState=2;
			RxBuffer1[RxCounter1++]=Com_Data;
		}
	else if(RxState==2)
		{
           
			RxBuffer1[RxCounter1++]=Com_Data;
			if(RxCounter1>=10||Com_Data == 0x5B)      
				{
					RxState=3;
					  Cx=RxBuffer1[RxCounter1-5];
//						Cy=RxBuffer1[RxCounter1-4];
//						Cw=RxBuffer1[RxCounter1-3];
//						Ch=RxBuffer1[RxCounter1-2];
					}
			}
		
				else if(RxState==3)//
				{
						if(RxBuffer1[RxCounter1-1] == 0x5B)
						{
									
							    if(RxFlag1==0)
									{
							    OLED_Clear();
									}
									RxFlag1++;
									RxCounter1 = 0;
									RxState = 0;
							    OLED_ShowString(0,0,"Success",16);
							    OLED_ShowNum(0,2,Cx,1,16);
							

						}
						else   
						{
									RxState = 0;
									RxCounter1=0;
									for(i=0;i<10;i++)
									{
											RxBuffer1[i]=0x00;      //
									}
						}
				} 
	
				else   
				{
						RxState = 0;
						RxCounter1=0;
						for(i=0;i<10;i++)
						{
								RxBuffer1[i]=0x00;      //
						}
				}
}

主要初始化代码

切记要先开中断，将数据读入缓冲区。

  /* USER CODE BEGIN 2 */
	OLED_Init();
	OLED_Clear();
	OLED_ShowString(0,0,"Waiting...",16);
  HAL_UART_Receive_IT(&huart1,(void *)&USART1_RXbuff,1);
  HAL_GPIO_WritePin(LED_GPIO_Port,LED_Pin,GPIO_PIN_SET);
  /* USER CODE END 2 */

led灯其实还是为了方便调试。 

总结

其实看了上面的以及那些详细的博客之后大家基本都会对stm32与openmv的通信有所了解了，对于刚开始接触openmv与stm32通信的我们来说这感到很神奇，我们会好奇两个MCU之间是如何传输信息的呢？经过更多的了解之后相信大家会对串口通信有更深的了解以及理解。笔者在网上看到各种openmv向stm32发送最大色块坐标信息的博客，因此想扩展一下2023年送药小车的识别，为此进行扩展了数字识别传输信息。但是这还是很基础，后面的内容以及更优秀的数据传输方式仍然等待笔者去学习。希望可以对正在学习以及备赛电赛的人有所帮助。

同时笔者的openmv端代码加上了lcd显示功能，可以实现脱机运行的同时更好的实时得到摄像头的反馈信息。并且我们可以低成本制作lcd扩展屏。具体可以参考这篇博客。https://blog.csdn.net/nnxiaowoniu/article/details/133972872

这是笔者进行改造的，回头设计个pcb就不用飞这么多线了哈哈哈哈哈哈。

祝愿大家可以在电赛取得好成绩，我们的学习将会继续！

相关代码已经开源到gitee。

OpenMv数字识别: OpenMv实现数字识别，且将信息通过串口发送到STM32，实时显示到oled上。

作者：Blaze my Future