AI

SK AI Data Academy 1기 AI 경연반도체 SSD 신뢰성 사전 불량 예측에서 1위를 달성했습니다 제가 데이터를 분석하고 모델을 구축한 방법을 정리해보겠습니다 문제 개요이번 문제에서는 Data Center Storage에서 수집한 센서정보를 바탕으로 시계열 분류 모델을 구현하고 그 성능을 비교하고자 합니다Data Center에 사용되는 SSD는 일반적으로 24시간 작동해야 하며 문제가 발생할 경우 심각한 상황을 야기할 수 있습니다SSD의 센서정보를 통해 사전에 SSD에 이상이 발생할지 여부를 분류할 수 있는 모델을 개발하고, 그에 맞춰 이상 SSD를 검출하는 것이 목표입니다. 라고 하네요, 시계열 데이터 기반의 이상치 binary classification이 목표입니다.우선 데이터 분석을 해보..

몇일 전 자기전에 생각했던 방법인데 다음날 찾아보니 이미 논문이 나와있어 읽고 리뷰해봤습니다.논문링크 Abstract해당 논문에서는심층 신경망(Deep Nerual Network, DNN)의 훈련과정 중 구조화된 노이즈를 삽입하여 정규화 효과를 내는 "노이즈 주입 노드 규제"(Noise Injection Node Regularization, NINR) 방법을 제시한다. NINR로 학습된 DNN이 다양한 테스트 데이터 섭동 - (작고 미세한 변화나 변형, perturbations)에 대해 향상된 강건성을 보인다는것을 이론적 및 실험적으로 입증한다. 기존의 네트워크 구조나 최적화 알고리즘을 변경하지 않고 외부 노드를 추가하는 것만으로 구현이 가능하여 통합이 쉽다. 도메인 쉬프트 (훈련데이터와 테스트 데이터의..

심층 레이어의 비합리적인 비효율성논문 링크AbstractPreTrained LLM에 대해 간단한 레이어 제거를 실증적으로 연구한 결과, 절반에 가까운 레이어를 제거한 후에도 성능저하가 최소한으로 나타남을 알게 되었다 모델들을 가지치기(prune)하기 위해, 레이어 간의 유사성을 고려하여 (자를) 최적의 레이어 블록을 식별한 후, 손상을 '치유(heal)' 하기 위해 약간의 Fine Tuning을 수행한다 이러한 결과는 레이어 제거 방법이 다른 PEFT(Parameter Efficient Fine Tuning) 전략을 보완하여 Fine Tuning에 필요한 계산 자원을 줄이고, 추론 시 메모리와 지연시간을 개선할 수 있음을 시사한다 또한 LLM이 레이어를 삭제했음에도 불구하고 견고한 성능을 유지한다는 것은..

https://www.e-patentnews.com/11435 ≪특허뉴스≫ 멀티모달 대형언어모델, GPT-4V를 뛰어넘다MoAI멀티모달대형언어모델성능(사진=KAIST) ©특허뉴스기존컴퓨터비전모델을활용해시각성능이획기적으로향상된공개형멀티모달대형언어모델‘콜라보&www.e-patentnews.com 카이스트에서 시각 성능이 획기적으로 향상된 멀티모달 LLM을 개발 논문링크 AbstractLLM의 놀라운 성공과 지시사항 튜닝(instruction tuning)은 Vision Language Models(VLMs)을 다목적 모델로 진화시키고 있다 그러나 현재 VLM이 실제로 '이미지에 어떤 객체가 있는가?' 또는 '특정 경계상자(bounding box)에 해당하는 객체는 무엇인가?' 와 같은 객체수준의 이미지 이해..

2024.06.06에 Open AI에서 공개한 연구결과 번역입니다같이 나온 논문리뷰는 따로 작성하겠습니다 원문 서론우리는 현재 언어모델 내에서 신경 활동을 이해하는 방법을 알지 못한다"features"를 찾아내는 발전된 방법을 공유하여 신경활동의 패턴을 사람이 알아낼 수 있게 하고자 한다 이는 기존연구보다 더 잘 확장될 수 있고, 이를 이용해 GPT-4에서 1600만개의 특징(features)를 발견할 수 있었다이러한 연구의 촉진을 위해 논문, 코드, feature visualizations 자료를 연구 커뮤니티와 공유하고 있다 신경망 해석의 도전사람이 만든 대부분의 창조물과는 다르게, 우리는 신경망 내부의 작동을 이해하지 못한다 예를들어, 엔지니어들은 자동차의 구성요소 사양에 따라 직접 디자인하고, 평..

개요강화학습 공부를 하다가 간단한 예제 말고 내가 실제로 하던 게임에 적용해보면 재밌을것 같아서그나마 제일 단순한 Chrome Dino Game에 강화학습을 적용하여 자동으로 플레이하는 모델을 만들어보고 싶었다 구현에 도움을 얻고자 검색을 해보니 많은 사람들이 공룡 앞의 부분을 crop하여 CNN으로 어떤 동작을 해야할 지 classification하는 모델을 만들었으나, 이는 내가 만들고자 하는 모델과 차이가 있었다 위와 같은 방식 말고 전체 이미지를 캡쳐해서 어떠한 명시적 특징 추출 없이 범용적으로 적용될 수 있는 AI를 제작하고 싶었다 내가 저렇게 앞의 이미지를 잘라주는건 특징추출이나 마찬가지. 전체 이미지를 캡쳐해서 real time 훈련을 통해 agent가 저 부분의 이미지가 중요하다는걸 학습하..

Adversarial AttackAI 모델을 공격할 수 있는 다양한 방법이 존재 Evasion attack데이터에 노이즈(사람은 구분불가)를 섞거나 변형을 가해 AI 모델의 예측을 어렵게 함 Backdoor attack(Poisoning)훈련 데이터를 조작하여 모델이 특정상황에서 원하는대로 동작하도록 만드는 공격기법정상작동하는 것처럼 보이나, 특정 입력에 대해 의도된 결과를 출력Latent backdoor attack잠재 백도어 공격은 백도어 공격의 일종으로, 백도어가 훈련데이터에 삽입되었으나 공격자가 원할 때까지 활성화되지 않는 방식조건이 충족되면 백도어가 활성화, 더 은밀한 방법Extraction attack모델에 다양한 입력을 제공하고 출력 결과를 분석하여 모델의 동작 방식을 추론하거나 파라미터를 ..

HLS (High-Level Synthesis)고수준 합성, 소프트웨어 수준의 고수준 언어로 작성된 설계를 하드웨어 기술언어로 변환하는 프로세스. SynthAIA Multi Agent Generative AI Framework for Automated Modular HLS Design Generation자동화된 모듈형 HLS 설계 생성을 위한 다중 에이전트 생성 AI 프레임워크 자동 하드웨어 코드생성에서 대형언어모델(LLMs)의 역할 LLMs는 자연어로부터 하드웨어 설명 코드를 도출하는 데 있어 유망한 능력을 보여주고 있음기본적인 논리 하드웨어 설계를 생성하는 LLMs의 개념에서,대화형 하드웨어 설계 분야의 도전, Verilog 코드를 생성하는 LLMs의 능력을 조사LLMs를 하드웨어 설계 디버깅에 사용..