티스토리

META_BS의 블로그

검색하기

블로그 홈

META_BS의 블로그

beomsun0829.tistory.com/m

META_BS 님의 블로그입니다.

구독자: 9

방명록 방문하기

주요 글 목록

모개숲 딥러닝 스터디 - 22. Deep Differentiable Logic Gate Networks 논문 링크 Abstract & Introduction최근 연구는 효율적인 신경망 아키텍처 개발에 집중되고있다.본 연구에서는 Logic Gate Networks를 활용하여 기계학습 task를 수행하는 방법을 제시 Logic Gate Networks는 "AND"나 "XOR" 같은 Logic Gate로 구성되어 매우 빠른 실행속도를 제공Logic Gate Networks는 전통적으로 미분불가능하여 Gradient Descent를 통한 훈련이 어려움효과적인 훈련을 위해, 실수값 논리와 연속적으로 파라미타화된 네트워크 완화(relaxation)를 결합한 Differentiable Logic Gate Networks라는 아키텍처를 제안입력값들이 여러 층의 논리게이트를 거치면서 처리된다. 각 논리게이트는 두개의 입력.. 공감수 0 댓글수 0 2025. 3. 30.
[논문 리뷰] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach 논문 링크Abstract해당 논문은 잠재 공간 (latent space)에서 사고하여 테스트 시점(test-time)에서 연산을 확장할 수 있는 새로운 언어 모델 아키텍처를 제안한다. 기존 모델들은 Chain-of-Thought (COT) 방식으로 더 많은 토큰을 생성하며 연산을 확장했다.반면, 본 연구의 모델은 재귀 블록(recurrent block)을 반복적으로 실행하여 임의의 깊이로 연산을 진행한다. 특수한 훈련 데이터 없이도 동작하며, 작은 context window에서도 효과적인 학습이 가능하다. 언어로 표현하기 어려운 다양한 유형의 추론을 학습할 수 있다. 연속 공간에서의 사고를 통한 확장 (Scaling by Thinking in Continuous Space)기존 접근법의 한계초기 언어 모.. 공감수 1 댓글수 1 2025. 2. 16.
RustBook - 섀도잉 (Shadowing) 원문링크 섀도잉이란업다운게임 튜토리얼에서 보았듯이, 이전 변수와 같은 이름으로 새로운 변수를 선언할 수 있습니다. let mut guess = String::new(); io::stdin().read_line(&mut guess).expect("Failed to read line"); let guess: u32 = match guess.trim().parse() { Ok(num) => num, Err(_) => continue, };guess가 두번 선언됨 이를 변수 가리기 (Shadowing)이라고 합니다. 두번째 변수가 첫번째 변수를 가린다는 뜻으로, 해당 변수 이름을 사용할 때 컴파일러가 두번째 변수를 인식한.. 공감수 0 댓글수 0 2024. 12. 2.
RustBook - 상수 (Constants) 원문링크 불변 변수 (Immutable Variables)와 같이, 상수 (Constants)는 값이 한번 바운딩되면 변경이 불가능합니다.그러나, 변수와 상수에는 몇가지 차이가 있습니다. 변수와 상수의 차이mut 키워드 사용불가상수에는 mut 키워드를 사용할 수 없습니다.상수는 기본적으로 불변인 것 뿐만 아니라, 항상 불변입니다. 상수를 선언할때는 let 대신 const 키워드를 사용하며,값의 타입을 반드시 명시해야 한다. 범위 (Scope)상수는 전역범위를 포함한 모든 스코프에서 선언할 수 있습니다. (물론 해당 스코프를 벗어나지는 않습니다) Rust는 일반변수(let)를 사용하여 전역범위에서 선언하는 것을 허용하지 않습니다.const MAX_POINTS: u32 = 100; // 전역 상수, l.. 공감수 1 댓글수 0 2024. 12. 2.
RustBook - 변수와 가변성 (Variables and Mutability) 원문링크 2장에서 업다운 게임을 만들때, guess 변수를 생성하면서Rust는 기본적으로 변수들이 "불변 (immutable)"이라고 언급한 바 있습니다. 이는 Rust가 제공하는 안전성과 쉬운 병렬처리를 활용하도록 유도하는 여러가지 특징 중 하나입니다.그러나 우리는 guess 변수를 "가변 (mutable)" 변수로 선언하였습니다. 다른 언어를 사용하다 왔으면 왜 이렇게 불편하게 만들어놨는지 의문이 드실겁니다.Rust가 왜 불변성을 권장하는지, 그리고 어떨 때 가변 변수를 선택해야 할지 살펴보겠습니다. 불변 변수 (Immutable Variable)변수가 불변일때, 특정 값이 변수에 바인딩되면 그 값을 변경할 수 없습니다. 진짜로 그런지 살펴보겠습니다. 새로운 프로젝트를 만들고, main.rs의 코드를.. 공감수 0 댓글수 0 2024. 12. 1.
RustBook - 업다운게임 만들기 (Programming a Guessing Game) 원문링크 업다운게임을 만들어보면서 러스트의 기본 문법을 익혀보겠습니다프로젝트 만들기cargo new guessing_gamecd guessing_gamecargo new로 새로운 프로젝트를 생성할 수 있습니다. cargo new로 프로젝트를 생성하면 아래 파일이 기본적으로 생성됩니다:- Cargo.toml프로젝트의 메타데이터 (이름, 버전, 의존성)에 대한 정보가 들어가있습니다.js의 package.json과 같은 역할을 합니다. - src/main.rs메인 파일입니다. 실행 시 첫 진입점이 됩니다. - .gitignoreGit을 사용할경우 gitignore를 만들어줍니다. 기본적으로 .target/ 디렉토리가 무시되도록 설정되어있습니다 입출력아래 코드에 대한 설명을 하나하나 해보겠습니다.use std.. 공감수 1 댓글수 0 2024. 11. 30.
모개숲 딥러닝 스터디 - 21. Multi-Image Augmented Direct Optimization for large vision language models (MIA-DPO) 선수 지식강화학습과 정책 최적화정책(Policy): πθ(y|x) - 에이전트가 특정 상태에서 어떤 행동을 선택할 확률. - 여기서는 모델의 입력(prompt) x에 대해 출력 y를 생성하는 확률 분포를 정책으로 정의.보상 함수(Reward Function): r(x, y) - 모델의 출력 y가 입력 x에 대해 얼마나 좋은지를 평가. - 높은 보상: 선호되는 응답 (chosen outputs). - 낮은 보상: 거부된 응답 (rejected outputs).기대 보상의 최적화 - 목표: 모델의 정책이 높은 보상을 받도록 최적화. - 최적화 식: $\max_\theta \mathbb{E}_{x \sim D, y \sim \pi_\the.. 공감수 4 댓글수 0 2024. 11. 17.
모개숲 딥러닝 스터디 - 20. Generative Adversarial Networks : GAN, PGGAN, StyleGAN Generative Adversarial Nets (GAN)생성적 적대 신경망 생성자 (Generator)와 판별자 (Discriminator)의 적대적 학습 (Adversarial learning)을 통해 성장하는 모델 '간'으로 발음하는 분이 계시는데 '겐'입니다 (제작자 오피셜) GAN의 구성요소입력 영상의 [Real] or [Fake]를 판별하는 Discriminator (판별자) 실제 이미지의 판별결과: $$( \mathbb{E}_{x \sim p_{\text{data}}(x)} \left[ \log D(x) \right] )$$ x는 실제 데이터에서 샘플링 된 이미지, D(x)는 판별자가 이 이미지가 진짜라고 판단하는 확률 판별자가 실제 이미지를 진짜라고 올바르게 판단하도록 유도 가짜 이.. 공감수 2 댓글수 0 2024. 11. 7.
BitNet b1.58 기술분석 : 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs BitNet의 소개와 구조에 관한 논문은 아래 링크에서 확인 가능합니다https://beomsun0829.tistory.com/45 논문 리뷰 - The Era of 1-bit LLMs:All Large Language Models are in 1.58 Bits논문링크 요약 비트넷과 같은 최근 연구는 1bit LLM(거대 언어 모델)의 새로운 시대를 열고 있다. 본 연구에서는 1-bit LLM의 변형인, BitNet b1.58을 소개한다. 이 모델은 모든 단일 매개변수 (또는 가중beomsun0829.tistory.com 이번에 bitnet.cpp와 모델이 오픈소스로 .. 공감수 3 댓글수 0 2024. 11. 7.
모개숲 딥러닝 스터디 - 19. Accurate medium-range global weather forecasting with 3D neural networks Abstract정확도 높은 대부분의 예보 시스템 : Numerical weather prediction method(이하 NMP)에 기반그러나 이러한 것들은 비용적인 측면에서 비싸다는 단점이 존재현재 AI 기술을 기반으로 한 다양한 method가 개발 중 (높지 않은 정확도) Pangu-Weather : 복잡한 날씨 패턴을 다루기 위해 지구 관련된 사전 지식을 기반으로 한 3차원 딥러닝 네트워크 계층적 집계 전략을 이용하여 중기 예보에서의 오류를 줄임. 39년 누적 데이터를 이용하여 분석하였으며 ECMWF와 비교하였을 때 여러 부분에서 우세함 극한 기상 및 ensemble한 기상 예보에서도 잘 작동하였으며 태풍을 추적하는 정확도 또한 ECMWF-HRES(High-Resolution-Forecast.. 공감수 3 댓글수 0 2024. 11. 3.
모개숲 딥러닝 스터디 - 18. Self-Reflective Retrieval-Augmented Generation 서론기존 기술의 문제점LLM은 모델이 내포하고 있는 Parametric knowledge에 의존하고 있어, 사실과 다른 답변을 내놓는 경우가 있음Retrieval-Augmented Generation(RAG)은 LLM + 연관된 지식을 검색해서 추가하는 방식으로 위 문제를 감소시킴검색의 필요 여부에 상관없이, 고정된 숫자의 검색된 구절을 무차별적으로 검색하고 통합하는건 LM의 다재다능함을 악화시키거나, 도움이 되지 않는 응답을 생성할 수 있음Self-RAGSelf-Reflective Retrieval-Augmented Generation(SELF-RAG) 언어모델이 필요에 따라 구절을 검색, 검색된 구절과 LM 자체 생성물을 반영하고 생성할 수 있도록특수한 토큰 (Reflection token) 을 사.. 공감수 3 댓글수 1 2024. 10. 27.
Kaggle - Regression of Used Car Prices 데이터 분석 및 엔지니어링 Regression of Used Car Prices Reference : Wheels & Deals: Regression Modeling for Cars 주어진 데이터를 기반으로 price를 예측하는 regression 문제입니다. 데이터 분석 및 추출 방법을 분석해봤습니다 EDABasic EDA plt.figure(figsize = (14,6))sns.heatmap(df.isnull(), cbar=False, cmap='viridis')plt.title('Heatmap of Missing Values in Training Data')plt.show() Visualizationcolumns = {'int64' : [], 'object' : []}for col, typ in df.dtypes... 공감수 0 댓글수 0 2024. 10. 27.
모개숲 딥러닝 스터디 - 17. End-to-End Autonomous Driving: Challenges and Frontiers 초록End-to-End 알고리즘 프레임워크: 센서 입력을 활용하여 차량의 움직임 계획을 생성하는 End-to-End 알고리즘 프레임워크를 채택하는 경향이 증가함. 이는 개별작업(감지, 움직임예측)에 집중하던 기존 접근방식과 대조됨. 모듈화된 파이프라인과의 비교: End-to-End 시스템은 인식과 계획을 위한 공동 특성 최적화의 이점을 지니며, 복잡한 상황에서도 효과적으로 작동함 서론1. 전통적 자율 주행 시스템의 모듈화 설계: 인식, 예측, 계획 등 각 기능이 독립적으로 개발되고 통합되지만, 이러한 모듈화 접근은 전체 성능에 제한적 영향을 미칠 수 있음. 2. 계획 및 제어 모듈의 중요성: 스티어링과 가속을 제어하는 계획 및 제어 모듈은 복잡한 상황에서 한계가 있으며, 학습 기반 접근 방식이 대안으로 .. 공감수 4 댓글수 2 2024. 10. 20.
[논문 리뷰] Unsupervised Deep Anomaly Detection forMulti-Sensor Time-Series Signals 논문 링크 Introduction이상탐지 (Anomaly Detection)은 정상/비정상 데이터를 분류하는 이분법적인 단순한 문제로 보일 수 있으나, 여전히 어려움이 존재한다. 1. 대부분 비정상 데이터가 정상 데이터에 비해 매우 적기때문에 불균형한 데이터를 가지고있다2. 비정상 데이터를 수동으로 라벨링하는 것은 매우 어렵다 상기에 서술된 문제로 인해 이상탐지에는 비지도학습 (unsupervised learning)이 많이 사용된다. 최근에는 센서의 보편화로 인해 여러 센서를 사용하는 연구가 확산됨에 따라 다변랑 시계열 (multi-variate time-series) 데이터가 대량으로 생성된다. 다중 센서 시계열 신호 기반 학습 알고리즘은 다중 센서 데이터의 시공간 상관성을 처리하는데 우선순위를 두.. 공감수 0 댓글수 0 2024. 10. 6.
모개숲 딥러닝 스터디 - 16. Proximal Policy Optimization Algorithms 강화학습이란인공지능의 학습 방법 중 하나로: 1. 에이전트(Agent)가 환경(Environment)과 상호작용하면서, 2. 최적의 행동 방침(Policy)을 학습한다. 3. 에이전트는 주어진 환경에서 상태(State)를 인식하고, 가능한 행동(Action) 중 하나를 선택한다. 4. 에이전트의 행동 결과로 환경은 보상(Reward)을 주고, 이 보상을 바탕으로 에이전트는 학습을 진행한다. 에이전트(Agent): 환경과 상호작용하며 학습을 진행하는 주체. 환경(Environment): 에이전트가 속한 공간으로, 에이전트의 행동에 따라 상태가 변화하며 보상을 제공. 상태(State): 환경이 에이전트에게 제공하는 정보. 행동(Action): 에이전트가 환경 내에서 선택할 수 있는 행동. 보상(Rewar.. 공감수 1 댓글수 0 2024. 9. 29.
[논문 리뷰] Time Series Data Augmentation for Deep Learning: A Survey 논문 링크 Abstract심층 신경망의 뛰어난 성능은 과적합을 피하기 위한 많은 양의 훈련 데이터에 달려있음.그러나, 의료 시계열 분류 및 AIOps에서의 이상감지와 같은 현실의 시계열 응용에서는 라벨링이 제한되어 있다. 훈련 데이터의 품질과 양을 향상시키는 효과적인 방법으로, 데이터 증강 (Data Augmentation)은 매우 중요한 역할을 한다. 본 논문에서는 다양한 시계열 데이터 증강 방법을 체계적으로 리뷰한다. Introduction 데이터 증강의 효율성은 이미 AlexNet과 같은 과거 연구들에서 증명된 바가 있다.그러나, 시계열 데이터에 특화된 더 나은 데이터 증강 방법을 찾는 데에는 상대적으로 적은 관심이 기울어졌다. 시계열 데이터에 대한 데이터 증강에서 발생하는 몇 가지 문제들은 아래와.. 공감수 2 댓글수 0 2024. 9. 23.
[논문 리뷰] Let’s Verify Step by Step 최근 공개된 OpenAI의 o1모델에 큰 영향을 주었다고 알려진 논문입니다.OpenAI연구진은 언어모델의 수학 및 추론능력을 크게 향상시킨 방법론을 이미 1년전에 공개했습니다.논문링크 0. Abstract최근 몇년간, LLM의 복잡한 다단계 추론 성능이 크게 향상되었으나, SOTA 모델들도 여전히 논리적 오류를 발생시킨다. 신뢰성 있는 모델을 훈련하기 위해, 결과 감독(outcome supervision, 결과에 대한 피드백을 제공)과 과정 감독(process supervision, 중간 추론 단계에 대한 피드백 제공)을 비교할 필요가 있다. 해당 논문의 저자는 자체적인 조사를 통해 과정 감독이 결과 감독보다 MATH 데이터셋 문제를 훨씬 잘 해결한다는 것을 발견했다. 또한 능동 학습(active lea.. 공감수 6 댓글수 1 2024. 9. 16.
Open AI의 신규 모델, o1 출시 서론9월 13일 새벽 2시 (한국시간), open ai가 신규 모델 o1을 공개했습니다. 특이한점은 모델이름 앞에 항상 붙던 GPT가 사라졌다는 것입니다.generative pretrained transformer를 더 이상 사용하지 않는지, 혹은 그냥 새로운 네이밍을 가져가고 싶었는지는 미지수입니다. 그러나 확실한점은 모델 아키텍처나 구동면에 있어서 변화가 있다는 것입니다. o1 모델은 답변을 하기 전 "생각"하는 과정을 거치게 됩니다. 생각하는 시간은 가변적이며, 생각을 오래 할수록 정확도가 증가하는 추세를 보입니다. Open AI는 o1 모델이 미국 수학올림피아드에서 미국 학생 상위 500명에 들고,물리,생물학,화학 문제의 벤치마크에서 인간 박사수준의 정확도를 넘어섰다고 주장하고 있습니다. 벤치.. 공감수 3 댓글수 1 2024. 9. 13.
[논문 리뷰] Quantum error correction below the surface code threshold 논문 링크 Quantum error correction below the surface code thresholdQuantum error correction provides a path to reach practical quantum computing by combining multiple physical qubits into a logical qubit, where the logical error rate is suppressed exponentially as more qubits are added. However, this exponential suppressiarxiv.orgby Google Quantum AIAbstract양자컴퓨터 분야에 큰 기여를 할 것으로 기대되는 논문이 오늘 올라왔다 해서 .. 공감수 1 댓글수 0 2024. 8. 29.
[논문 리뷰] LG EXAONE 3.0 7.8B Instruction Tuned Language Model 논문 링크 EXAONE 3.0 7.8B Instruction Tuned Language ModelWe introduce EXAONE 3.0 instruction-tuned language model, the first open model in the family of Large Language Models (LLMs) developed by LG AI Research. Among different model sizes, we publicly release the 7.8B instruction-tuned model to promote open researxiv.orghttps://huggingface.co/LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct LGAI-EXAONE/EXAONE.. 공감수 0 댓글수 1 2024. 8. 17.
[SKADA] SK AI Data Academy 1기 중급 수료후기 앞서 다른 부트캠프 후기글을 작성할 때 언급했듯이, 인공지능 및 데이터 사이언스 분야는 혼자 공부하기 쉽지 않은 분야이다.학교에서도 인공지능, 기계학습 수업을 해주지만, 시간의 제약으로 인해 매우 기초적인 이론수업만 진행된다. 때문에 나는 인공지능 공부를 시작하고부터 매 방학마다 온/오프라인 AI 교육을 신청하여 수강한다.이번 방학에는 구글 머신러닝 부트캠프와 SKADA를 신청했고, SKADA만 붙게 되었다. 두개의 현업 프로젝트 교육을 이수하고, AI경연에 참여하면 수료증을 얻을 수 있다. 내가 선택한 프로젝트는[SK하이닉스] - DRAM 내부 회로 파형 예측[소보로] - 청각장애인을 위한 소리 분류 모델 개발 이 두가지였다. 다른 커리큘럼은 이미 어느정도 알고있는 CV나 시계열 모델들이었기 때문에, .. 공감수 0 댓글수 0 2024. 8. 11.
SKADA 1기 AI경연 Public / Final 1위 SK AI Data Academy 1기 AI 경연반도체 SSD 신뢰성 사전 불량 예측에서 1위를 달성했습니다 제가 데이터를 분석하고 모델을 구축한 방법을 정리해보겠습니다 문제 개요이번 문제에서는 Data Center Storage에서 수집한 센서정보를 바탕으로 시계열 분류 모델을 구현하고 그 성능을 비교하고자 합니다Data Center에 사용되는 SSD는 일반적으로 24시간 작동해야 하며 문제가 발생할 경우 심각한 상황을 야기할 수 있습니다SSD의 센서정보를 통해 사전에 SSD에 이상이 발생할지 여부를 분류할 수 있는 모델을 개발하고, 그에 맞춰 이상 SSD를 검출하는 것이 목표입니다. 라고 하네요, 시계열 데이터 기반의 이상치 binary classification이 목표입니다.우선 데이터 분석을 해보.. 공감수 1 댓글수 0 2024. 8. 11.
논문 리뷰 - Noise Injection Node Regularization For Rubust Learning 몇일 전 자기전에 생각했던 방법인데 다음날 찾아보니 이미 논문이 나와있어 읽고 리뷰해봤습니다.논문링크 Abstract해당 논문에서는심층 신경망(Deep Nerual Network, DNN)의 훈련과정 중 구조화된 노이즈를 삽입하여 정규화 효과를 내는 "노이즈 주입 노드 규제"(Noise Injection Node Regularization, NINR) 방법을 제시한다. NINR로 학습된 DNN이 다양한 테스트 데이터 섭동 - (작고 미세한 변화나 변형, perturbations)에 대해 향상된 강건성을 보인다는것을 이론적 및 실험적으로 입증한다. 기존의 네트워크 구조나 최적화 알고리즘을 변경하지 않고 외부 노드를 추가하는 것만으로 구현이 가능하여 통합이 쉽다. 도메인 쉬프트 (훈련데이터와 테스트 데이터의.. 공감수 0 댓글수 0 2024. 8. 9.
논문 리뷰 - The Unreasonable Ineffectiveness of the Deeper Layers 심층 레이어의 비합리적인 비효율성논문 링크AbstractPreTrained LLM에 대해 간단한 레이어 제거를 실증적으로 연구한 결과, 절반에 가까운 레이어를 제거한 후에도 성능저하가 최소한으로 나타남을 알게 되었다 모델들을 가지치기(prune)하기 위해, 레이어 간의 유사성을 고려하여 (자를) 최적의 레이어 블록을 식별한 후, 손상을 '치유(heal)' 하기 위해 약간의 Fine Tuning을 수행한다 이러한 결과는 레이어 제거 방법이 다른 PEFT(Parameter Efficient Fine Tuning) 전략을 보완하여 Fine Tuning에 필요한 계산 자원을 줄이고, 추론 시 메모리와 지연시간을 개선할 수 있음을 시사한다 또한 LLM이 레이어를 삭제했음에도 불구하고 견고한 성능을 유지한다는 것은.. 공감수 0 댓글수 0 2024. 8. 1.
논문 리뷰 - CoLLaVO: Crayon Large Language and Vision mOdel https://www.e-patentnews.com/11435 ≪특허뉴스≫ 멀티모달 대형언어모델, GPT-4V를 뛰어넘다MoAI멀티모달대형언어모델성능(사진=KAIST) ©특허뉴스기존컴퓨터비전모델을활용해시각성능이획기적으로향상된공개형멀티모달대형언어모델‘콜라보&www.e-patentnews.com 카이스트에서 시각 성능이 획기적으로 향상된 멀티모달 LLM을 개발 논문링크 AbstractLLM의 놀라운 성공과 지시사항 튜닝(instruction tuning)은 Vision Language Models(VLMs)을 다목적 모델로 진화시키고 있다 그러나 현재 VLM이 실제로 '이미지에 어떤 객체가 있는가?' 또는 '특정 경계상자(bounding box)에 해당하는 객체는 무엇인가?' 와 같은 객체수준의 이미지 이해.. 공감수 0 댓글수 0 2024. 7. 20.
OpenAI가 GPT-4의 내부를 해석하는 방법 : Extracting Concepts from GPT-4 2024.06.06에 Open AI에서 공개한 연구결과 번역입니다같이 나온 논문리뷰는 따로 작성하겠습니다 원문 서론우리는 현재 언어모델 내에서 신경 활동을 이해하는 방법을 알지 못한다"features"를 찾아내는 발전된 방법을 공유하여 신경활동의 패턴을 사람이 알아낼 수 있게 하고자 한다 이는 기존연구보다 더 잘 확장될 수 있고, 이를 이용해 GPT-4에서 1600만개의 특징(features)를 발견할 수 있었다이러한 연구의 촉진을 위해 논문, 코드, feature visualizations 자료를 연구 커뮤니티와 공유하고 있다 신경망 해석의 도전사람이 만든 대부분의 창조물과는 다르게, 우리는 신경망 내부의 작동을 이해하지 못한다 예를들어, 엔지니어들은 자동차의 구성요소 사양에 따라 직접 디자인하고, 평.. 공감수 0 댓글수 0 2024. 7. 1.
Dino Game 강화학습 하기 개요강화학습 공부를 하다가 간단한 예제 말고 내가 실제로 하던 게임에 적용해보면 재밌을것 같아서그나마 제일 단순한 Chrome Dino Game에 강화학습을 적용하여 자동으로 플레이하는 모델을 만들어보고 싶었다 구현에 도움을 얻고자 검색을 해보니 많은 사람들이 공룡 앞의 부분을 crop하여 CNN으로 어떤 동작을 해야할 지 classification하는 모델을 만들었으나, 이는 내가 만들고자 하는 모델과 차이가 있었다 위와 같은 방식 말고 전체 이미지를 캡쳐해서 어떠한 명시적 특징 추출 없이 범용적으로 적용될 수 있는 AI를 제작하고 싶었다 내가 저렇게 앞의 이미지를 잘라주는건 특징추출이나 마찬가지. 전체 이미지를 캡쳐해서 real time 훈련을 통해 agent가 저 부분의 이미지가 중요하다는걸 학습하.. 공감수 1 댓글수 0 2024. 6. 30.
모개숲 딥러닝 스터디 - 15. Adversarial Attack & Defense Adversarial AttackAI 모델을 공격할 수 있는 다양한 방법이 존재 Evasion attack데이터에 노이즈(사람은 구분불가)를 섞거나 변형을 가해 AI 모델의 예측을 어렵게 함 Backdoor attack(Poisoning)훈련 데이터를 조작하여 모델이 특정상황에서 원하는대로 동작하도록 만드는 공격기법정상작동하는 것처럼 보이나, 특정 입력에 대해 의도된 결과를 출력Latent backdoor attack잠재 백도어 공격은 백도어 공격의 일종으로, 백도어가 훈련데이터에 삽입되었으나 공격자가 원할 때까지 활성화되지 않는 방식조건이 충족되면 백도어가 활성화, 더 은밀한 방법Extraction attack모델에 다양한 입력을 제공하고 출력 결과를 분석하여 모델의 동작 방식을 추론하거나 파라미터를 .. 공감수 2 댓글수 0 2024. 6. 30.
모개숲 딥러닝 스터디 - 14. SynthAI: A Multi Agent Generative AI Framework for Automated Modular HLS Design Generation HLS (High-Level Synthesis)고수준 합성, 소프트웨어 수준의 고수준 언어로 작성된 설계를 하드웨어 기술언어로 변환하는 프로세스. SynthAIA Multi Agent Generative AI Framework for Automated Modular HLS Design Generation자동화된 모듈형 HLS 설계 생성을 위한 다중 에이전트 생성 AI 프레임워크 자동 하드웨어 코드생성에서 대형언어모델(LLMs)의 역할 LLMs는 자연어로부터 하드웨어 설명 코드를 도출하는 데 있어 유망한 능력을 보여주고 있음기본적인 논리 하드웨어 설계를 생성하는 LLMs의 개념에서,대화형 하드웨어 설계 분야의 도전, Verilog 코드를 생성하는 LLMs의 능력을 조사LLMs를 하드웨어 설계 디버깅에 사용.. 공감수 0 댓글수 0 2024. 6. 13.
모개숲 딥러닝 스터디 - 13. CLIP : Learning Transferable Visual Models From Natural Language Supervision Abstract Vision model에 자연어 텍스트 프롬프트를 활용하기 위한 모델NLP 모델과 Vision 모델의 출력 벡터를 최대한 동일하게 하여 하나의 공간에 표현하도록 함Labeling 필요성 줄이고 방대한 데이터셋 활용 가능 Zero-shot transfer에 유리 Former approach (Legacy)이미지를 표현하는 각 자연어 단어를 모델이 이해할 수 있는 라벨로 만들어 데이터셋에 입력 (ex. one-hot encoding) 단점라벨링 작업 부담데이터셋 크기 제한 (방대한 양이 필요함)학습 데이터에 없던 것을 예측하는 zero-shot learning 불가경직적인 구조 Meanwhile in NLPTransformer 기반 생성형 모델 개발을 통해 폭발적인 성장을 보임 (BERT &.. 공감수 2 댓글수 0 2024. 5. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.