конспект за второй семестр 4-го курса, преподаватель Ляхова (09А_Маш_зрение)

Посмотреть архив целиком

13



Система технического зрения


Система технического зрения (СТЗ) предназначена для приема и обработки большого объема аналоговой информации, используемой для

- ориентирования подвижных объектов (роботов),

- позиционирования на операциях подгонки резисторов, сборки, сварки, механической обработки, загрузки,

- контроля внешнего вида детали, топологии платы и фотошаблона на соответствие КД, отсутствия дефектов (трещин, КЗ),

- определение физических параметров: геометрических параметров, веса..


S, f, λ, φ U, V, F 0/1 0/1


Осветитель Приемник Интерфейс ВУ Интерфейс


U


Объект Исполнительное устройство

Фон

Рис. Схема СТЗ.


Входные параметры: яркость S (интенсивность излучения) и цвет (длина волны излучения) или частота f, фаза φ.


Технические средства формирования изображений:

- датчики излучения оптического, теплового (дают возможность температурной диагностики оборудования, объектов и среды, позволяют ориентироваться роботам в темноте - экономия электрической энергии), радиолокационного, ультразвукового, проникающего излучения - рентгеновского (для неразрушающего контроля непрозрачных сред - интроскопия),

- тактильные поверхности,

- машинная графика,

- щуп (многоточечный, контурный).

Наиболее распространенные приемники - датчики видеоизображения:

- вакуумные передающие трубки: телевизионные установки (малогабаритная телевизионная установка МТУ-1, серийная телекамера КТП-67),

- видеокамера,

- web-камера,

- мишень пироэлектрического видикона,

- твердотельные устройства видеосигналов - линейки и матрицы: -

- фотодиодная (матрица размером от 16х16 до 800х800 элементов типа СФ-14 с чувствительным полем 32х32 элемента для установки на захватном устройстве робота,

линейка с числом элементов от 32 до 2000 с шагом от 15 мкм),

- фототранзисторная (биполярная )

- на приборах с зарядовой связью (ПЗС) - (КТ-2 с матрицей 288 х 232), линейка ПЗС размером 512, 1024 и 2048 элементов

- матрица торцов до 100 тыс. световодных волокон,

- сжатых в пучок в пальцах робота,

- с шаровой линзой, фокусирующей изображение почти кругового обзора (вращающейся по двум осям),

- закрепленных на плате, вращающейся по 2-м осям.

- планшетные устройства. Планшетные устройства включают поверхность, каждая точка которой может быть дискретно идентифицирована с помощью ВУ. Точки указываются магнитными чернилами, электрическим пером или курсором.


Тактильные поверхности:

- из проводящей силиконовой резины, изолированной от печатной платы с электродами тонким сетчатым материалом (например, для сверхтонких колготок – отклик - выходной параметр R). Замыкание резины и электрода происходит под действием тяжести детали.

- поверхность из пьезоэлектрической поливинилиденфлюоридной пленки, при деформации которой изменяется заряд точки (Q).


Рис. Матрица тактильных элементов с использованием пьезоэлектрической полиимидной пленки.


- электретная поверхность, при деформации которой изменяется ток в цепи (I).

- тензотермическая поверхность “Pressurex” увеличивает яркость S при увеличении давления,

- электропроводящий эластомер, поверхность с углеродными волокнами (R).


Рис. Световолоконная система.


Рис. Формирование объемного изображения с помощью щупа сканирующего туннельного микроскопа.

Прием изображения

осуществляется

- “жестким растром” - привязкой элемента изображения к приемной ячейке (твердотельные датчики, тактильные поверхности), при этом входная информация может быть аналоговой (интенсивность, длина волны излучения) или дискретной: бинарной (есть/нет, белое/черное) или многоразрядной в двоичном коде,

- сканированием луча (электронного, оптического,..), при этом последовательно принимаемая входная информация, как правило, аналоговая: пространственно-временная зависимость интенсивности, длины волны излучения. Непрерывная информация должна быть дискретизирована


Подавление шумов, помех


Аппаратно достигается использованием фильтров (оптических, радиочастотного диапазона и т.д.) и оформлением контрастной подсветки таким образом, чтобы более четко выявить край изображения и избежать “бликов” - паразитных переотражений. Для низкочастотного излучения фон должен иметь контрастные значения электрических или акустических параметров.

Программно подавление шумов осуществляется установлением порогового уровня параметров излучения (яркости S0 ).

Описание каждого дискрета изображения включает яркость S (интенсивность излучения) и цвет (длину волны излучения). Простейший способ представления изображения - бинарный - черно/белое изображение (черное =1, белое =0). Эти 2 значения различаются по яркости:

Sб(x,y) = 1 при S(x,y) S0(x,y)

= 0 при S(x,y) < S0(x,y)

где S(x,y) - исходное изображение, Sб(x,y) - бинарное изображение, S0(x,y) - пороговый уровень, формирует зону нечувствительности. Бинарное описание изображения может быть использовано для логического описания состояния датчика тактильной поверхности с использованием классификации признаков: “Есть” - “Нет”.


Сжатие данных геометрическое и временное необходимо для увеличения быстродействия. (Телевизионный сигнал стандартной системы содержит 2-3 млн. бит. Аналог датчика изображения: глаз человека: информационный поток - 140 млн. бит/сек, по зрительному нерву от глаза к мозгу передается информация 50...70 бит/сек (оптоволоконная магистраль имеет пропускную способность - 1 Гбит/сек). Тактовая частота электрохимической компоненты работы мозга - 10 Гц ( ритм) . При этом используется пространственно-временная фильтрация: накопление сигнала за рефлекторный период до величины, выше пороговой.)

Аппаратное сжатие осуществляется с помощью линий задержки. Для аппаратной дискретизации при приеме изображения используются

- барабанные сканирующие устройства (как при считывании штрих-кода),

- развертывающие устройства с бегущим лучом, обеспечивающие построчный просмотр изображения (с оптико-механической разверткой, сканирующим лучом (удобны для измерения координат и размеров объектов с применением время - импульсной базы),

- элементы матриц (фото-, ПЗС, оптического волокна,..),

- тактильные (планшетные) устройства,

- щуп, движущийся по заданной траектории, с отсчетом координат касания - координатная дискретизация,

- дальномеры лазерные, ультразвуковые, радиочастотные, временная (частотная) дискретизация.

Основные приемы программного сжатия

- выделение геометрического дискрета – пиксела, которому приписывают значения S и ,

- буферизация (считывание прекращается по сигналу прерывания или по заданному числу отсчетов) - временная.


Распознавание

изображений предусматривает

- описание изображения определенным набором чисел, цепочкой символов или граф,

- преобразование изображения,

- нормализацию - отнесение к определенному классу.

Приемы обработки и распознавания связаны: сжатие должно упрощать нормализацию объекта.

В описании координаты x и y показывают центр пиксела. Значения S и также дискретизируются. (По аналогии с монитором, реализующим 16 или 256 цветов оттенков серого цвета.) Каждый дискрет - градация обозначается числом. В итоге поле изображения характеризуется многомерной матрицей многоразрядных чисел. Еще более сложной задачей является трехмерный анализ объекта, который реализуется

- с помощью нескольких датчиков изображения,

- дополнением к плоскому СТЗ датчиком расстояния (например, сканирующим лазерным дальномером),

- многослойным (например, томографическим, рентгеновским или УЗ) видеоанализом. Сканирующий луч отражается от определенного слоя в глубине объекта. Формируется изображение внутренних сечений. Этот метод используется для дефектоскопии электронных схем высокой степени интеграции (а также для многослойной записи информации).

Чем качественнее изображение (больше дискретов), тем больший объем памяти занимает его описание. Таким образом, дискретизация состоит

- из выборки - выборе некоторого множества точек - пикселов на поле наблюдения,

- и квантования - характеристике пиксела конечным числом символов.

Пересылка изображения 256 х 256 х 1 бит со скоростью 30 Кбайт/с займет 250 мс, в то время как длительность одного кадра - 20 мс. Еще больший объем информации передается для полутонового изображения с 15 оттенками серого цвета, не говоря уже о цветном изображении. Для работы в реальном времени необходимо сократить объем записи в оперативную память ВУ. Это можно сделать аппаратными или программными методами.

К аппаратным методам относятся использование:

- дорогих быстродействующих процессоров,

- многопроцессорных ВУ с реальной параллельной обработкой сигнала,

- датчиков с малым числом дискретов передаваемого изображения.

К программным методам сжатия данных (2-ого этапа) относятся следующие приемы преобразования описания:

- уменьшение числа дискретов с помощью локальных операций, 64 х 64 или 32 х 32 или 16 х 16 (рис.А89-2.3).

- сегментация изображения,

- метод масок (выделение характерных точек эталонных фигур),

- вычисление параметров изображения.

Преобразование описания изображения производится с помощью локальных операций. Яркость S(х,у) усредняется в зависимости от локальной ситуации ..

000 001 111 S(х,у)

000 011 111 0 - 0 или 1 - 1

000 001 111

Необходимо выработать решающее правило в зависимости от цели. Локальное окно заменяет пиксел в описании изображения, уменьшая его объем.



Рис. Описание цвета пиксела: черно – белого, 8 градаций серого, трехцветного с 8 градациями каждого цвета.

Увеличение локального окна может привести к искажению изображения.




Сегментация - это топологический анализ изображения. Алгоритм сегментации зависит от назначения операции. Используется преобразование изображения по порогу яркости в значениях “0” или “1”, а для цветных изображений - по градиенту цветности, освещенности. На изображении выделяются области однородности. При сегментации возможны преобразования изображений:

- оконтуривание (выделение из массива информации контуров),

- стирание контура (инвертирование (0--> 1, 1--> 0) каждого пиксела области однородности - границы - с внешней стороны),

- скелетизация (выделение средней линии области однородности, например, при распознавании букв и цифр любой толщины написания),

- удаление изолированных одинарных и двойных точек,

- масштабирование: сжатие, расширение,

- выравнивание краев (когда стоит задача не выявить качество края проводника, а воспроизвести топологию проводника для КД).


Рис. Изображение объекта и его двуцветное (бинарное) представление.


Контур, например, правый край, может быть получен с помощью следующих операций: 1) сдвиг всех точек влево на один элемент, 2) отрицание, 3) логическое умножение на исходное значение.

Стирание контуров (в т. ч. и многократное) позволяет отделить изображения соприкасающихся объектов известной геометрии, например, движущихся на конвейере, и их пересчитать с учетом средней длины объекта.



конвейер




считывающее устройство контур объекта


Рис. Процедура стирания контуров для счета объектов.


Несколько меньше машинного времени за один из приемов сокращения состоит в запоминании только тех элементов контура, которые не имеют соседа. Обход производится маркером - локальным окном.





Рис. Запоминающиеся маркеры на контуре детали.


От размера маркера и выбранного алгоритма существенно зависит цифровое представление объекта.


Рис. Изображение объекта и его представление по алгоритмам присоединения и отторжения.


При распознавания трехмерных объектов используется поэтапная детализация: точки - линии - зоны - тела - общая сцена. Т.е. после выделения контура оценка интенсивности с градациями, большими 2-х, позволяет выделить ребра и углы объемных тел и учесть фон. Для упрощения распознавания 3-мерных объектов дополнительно к плоскому СТЗ используется датчик расстояния (лазерный или ультразвуковой дальномер,... ).


Распознавание производится сравнением описания изображения с

- эталонной матрицей для каждой точки описания сравниваются сигналы “1” и “0”,

- нормализованным эталоном многокомпонентного вектора признаков.

Нормализация подразумевает разделение образов на классы при сравнении с эталоном по характерным признакам. Такими признаками могут быть

- одиночные - горизонтальная линия, вертикальная линия,

- геометрические - отверстие, крест определенного размера и расположения,

- интегральные признаки: площадь, длина периметра L, момент инерции, коэффициент формы (сложность контура П = а/L).

При совпадении всех признаков (вектора признаков) с эталоном

у = (х1 & х2 &....& хn) = 1.


Классификация - упорядоченный список характерных признаков. Признаки могут характеризовать 1-мерный объект (точку) и 2-мерный объект (плоскую фигуру). Признаки могут быть любыми (качественными и количественными), приведенными к состоянию с 2-мя значениями. Классификация должна быть составлена т.о., чтобы сокращать время распознавания (рациональный алгоритм). Например, классификация элементов букв

включает вертикальные, горизонтальные и диагональные линии.


Признак \ № позиции

1

2

3

х1 -горизонтальная линия

1

0

0

х2 -вертикальная линия

1

0

0

х3- диагональ

0

0

0

Рис. Схема распознавания буквы “Г”.


Рис. Алгоритм распознавания букв L, P, O, E, Q.


Автоматизированное сличение отпечатков пальцев основано на формировании интегральных признаков - особенностей папиллярных линий.


Рис. Особенности отпечатков пальцев: а – дельта, б – спираль, в – петля.


Распознавание произвольно расположенного объекта производится в несколько этапов, например, для простых форм: 1) производится оконтуривание, 2) выделяются экстремальные точки (определяются их координаты), 3) вычисляются длины сторон, 4) определяется угол наклона оси детали к оси координатной системы СТЗ. Для деталей сложной формы сначала вычисляется площадь по числу пиксел области однородности. Для определения положения 2-мерного объекта вычисляются координаты центра массы и угол наклона оси симметрии или наибольшего (наименьшего) вектора от центра массы к периметру или к одной из координатных осей (ориентирующий угол). Далее совмещается изображение с эталоном, для чего совмещаются центры масс и ориентирующие углы.

Нормализация изображения в условиях преобразований поворота и смещения проводится также на основе функционалов центров тяжести и моментов инерции. Наложение изображения объекта на эталон производится совмещением центров тяжести и в соответствии с моментами инерции. Вычисляется площадь поверхности объекта, не совпадающая с эталоном. Дополнительно осуществляется корреляция нормализованного изображения объекта с эталоном. Корреляция годных деталей находится на уровне 0.85 (в результате дискретизации часть изображения теряется) и выше. Нормализованные изображения эталона и бракованного объекта будут больше различаться.

Метод “масок” (рис.А47-р.29-30) для определения положения детали предполагает определенное сочетание показаний датчиков - пиксел (или локальных окон) и может использоваться и для фотоэлектрической матрицы или планшетного устройства. Метод сводится, по сути, к поточечному сравнению, поэтому трудоемок и уменьшает быстродействие АСУ.

Метод нормализации

Быстродействие, сек

вычисление площади

0.00032

метод масок

14

Традиционные реперные знаки из плоских геометрических фигур неудобны для автоматизированного распознавания. Предпочтительнее перекрестие тонких рисок как фигура с простыми характерными признаками. Увеличение размера пиксела существенно снижает время реакции ВУ. На основе метода масок возможно построение на трассе координатных полей для ориентации автономных подвижных объектов (роботрейлеров).

Возможна симбиотическая система, в которой обрабатывается совместно тактильная и визуальная информация.


Критерии выбора способа распознавания:

- выполнение требуемой функции при минимуме объема исходных данных, т.е. минимуме времени обработки информации для работы в режиме реального времени.

Факторы выбора:

- время реакции (частота смены изображения), стробирующий режим (световые вспышки) для движущихся объектов.

- параметры элементов ВУ (скорость обработки данных, организация параллельной обработки, наличие видеопроцессора, ..),

- вид регистрации (носитель) изображения (фототермопластичный),

- датчики изображения (от оптронной пары до системы технического зрения с высокими уровнем квантования видеосигнала и разрешением),

- сегментация изображения - разбиение исходного изображения на области, каждая из которых обладает определенным свойством,

Требования к КД для упрощения распознавания состоят в использовании:

- простых геометрических фигур,

- ключей, отличной конфигурации в определенной месте рабочего поля платы.


Пример использования машинного зрения для прецизионной сборки. Прием изображения осуществляется с помощью 6-ти камер с зарядовой связью () и сканирующим электронным микроскопом (). На основе полученной информации распознаются микрообъекты, оцениваются их позиции и производится управление нанодвигателем с учетом силовых воздействий.


Рис. Фрагмент локальной сети автоматизированной системы управления модулем сборки.



Рис. Управление удаленными манипуляторами с помощью координатного устройства или пантографа.



Подобно тому, как человек воспринимает изображение двумя глазами, чип выполняет обработку пары снимков, поступающих от камер (верхние снимки получены с лево и правой камер соответственно), и определяет пространственные отношения между объектами, основываясь на эффекте параллакса. Для ускорения обработки, ее возложили на 256 вычислительных цепей, работающих параллельно. Кроме того, специальная схема анализирует градации цветов, чтобы выделить контуры объектов. БИС успевает извлечь около 2000 граней, углов и других линий раздела из каждой сцены при частоте 30 кадров в секунду. Сравнение выделенных контуров в соседних кадрах позволяет определить смещение объектов. Среди дополнительных функций – более точное сравнение кадров, анализ с увеличением, масштабирование кадров и поворот образцов для сравнения, которые выглядят по-разному в зависимости от расстояния и угла зрения. Энергопотребление микросхемы составляет примерно 2,7 Вт при тактовой частоте 200 МГц. Система позволяет роботам распознавать формы и перемещения объектов в реальном масштабе времени.




Случайные файлы

Файл
177976.rtf
174324.rtf
32687.rtf
46735.rtf
63520.rtf