나의 서브 하드디스크

django-jsonform을 사용한 django admin 활용

친구들안녕 — Sun, 21 Jul 2024 18:54:09 +0900

서론

본문은 django-jsonform을 사용하여, 어드민 페이지에 쉽고(그나마), 간단히 사용한 예시를 작성하였습니다.

본론

라이브러리 설치 및 settings에 추가

pip install django-jsonform == 2.22.0

INSTALLED_APPS = [
    ...
    "django_jsonform",
]

JSONField 사용하여 model 추가

json 타입을 지정하여, 원하는 dict 형태로 생성이 가능합니다.

from django.db import models
from django_jsonform.models.fields import JSONField


class AbstractModel(models.Model):
    QUERIES_SCHEMA = {
        "type": "list",
        "items": {
            "type": "dict",
            "keys": {
                "type": {"type": "string", "choices": ["choice1", "choice2"]},
                "name": {"type": "string"},
            },
        },
    }
    queries = JSONField(schema=QUERIES_SCHEMA)
    createdAt = models.DateTimeField(null=True, auto_now_add=True)

    class Meta:
        abstract = True

Admin 페이지 사용 예시

choice 타입으로, choice 내용을 정할 수 있고,

String 타입으로 일반 텍스트를 입력할 수 있습니다.

데이터 추가

Json 형태로 저장된 결과

Admin 페이지 visualizing

간단하게 Admin을 수정하여, 조금 더 보기 쉽게 비주얼라이징도 가능합니다.

from django.contrib import admin
from django.utils.safestring import mark_safe

class AbstractModelAdmin(admin.ModelAdmin):
    list_display = ["queries_visualizing", "createdAt"]
    # list_display = ["queries", "createdAt"]

    def queries_visualizing(self, obj):
        return mark_safe("<br/>".join([f"{query["type"]} / {query["name"]}" for query in obj.queries]))

visualizing 예시

Reference

https://django-jsonform.readthedocs.io/en/latest/

예시코드

https://github.com/NGG-kang/tistory/tree/main/djang-jsonform

drf_spectacular를 사용한 api docs 만들기

친구들안녕 — Sun, 20 Nov 2022 17:11:09 +0900

서론

필자가 drf_spectacularf를 사용하여 만들었던 docs 페이지를 기억하기 위해 작성하는 페이지입니다.
찾으시는 내용이 없을 수 있습니다.
또한 정확히 알지 않고 필자의 경험으로만 이루어져 있기 때문에 없는 내용 및 틀린 내용이 존재할 수 있습니다.

본론

1. drf-spectacular settings

settings.py에 API docs에 보여질 title, description, version을 지정할 수 있습니다.
이외의 기타 설정값들도 지정할수 있으니 링크 를 참조하시길 바랍니다.

SPECTACULAR_SETTINGS = {
    'TITLE': 'TITLE',
    'DESCRIPTION': 'DESCRIPTION',
    'VERSION': '1.0.0',
}

2. extend_schema

- 기본 사용법

사용할 api의 method 함수 부분에 @extend_schema 데코레이터를 추가하여 사용할 수 있습니다.

class TistoryView(APIView):

    @extend_schema(
    ...
    )
    def get(self, request):
        ...

3. tags, summary, description

tags: swagger에 어떤 부분에 tag 되어있을건지 정한다.
기본적으로 django의 app name에따라 default로 정해진다.

summary: url 옆에 요약줄 부분에 내용을 쓸 수 있다.

description: 접은글을 펴면 상단에 위치한 description을 볼 수 있다.

class TistoryView(APIView):

    @extend_schema(
        tags=['files'],
        summary="요약줄",
        description="""설명란<br/>
            html 태그를 사용할 수도 있습니다. """,
    )
    def get(self, request):
        ...

tas, summary, description 적용 이미지

4. parameters

paramters를 사용하여 url의 parameter를 추가할 수 있습니다.
또한 아래 이미지와 같이 parameter를 추가하여, 테스트 할 수 있습니다.

class TistoryView(APIView):

    @extend_schema(
        ...
        parameters=[
            OpenApiParameter(
                name="name",
                type=str,
                description="description",
                required=False,
            )
        ]
    )
    def get(self, request):
        pass

5. request

아래와 같이 request에 Serailizer를 사용하여 이 api에서 받을 request 데이터를 자동으로 정할 수 있습니다.
그러나 이런 Serializer를 사용한 docs 자동화는 serialier_class를 사용 할 수 있는 GenericAPIView 이상부터 가능합니다.
즉 일반 APIView는 사용이 불가능 합니다.

class TistoryView(GenericAPIView):
    serializer_class = TistorySerializer

    @extend_schema(
        request=TistorySerializer,
    )
    def post(self, request, *args, **kwargs):
        pass

물론 다른 방법으로 inline_serializer를 사용하여 정의할 수 있습니다.

class TistoryView(APIView):

    @extend_schema(
        request=inline_serializer(
            name='inline serializer',
            fields={
                "name": serializers.CharField(default="name"),
                "integer": serializers.IntegerField(default=100)
            }
        )
    )
    def post(self, request, *args, **kwargs):
        pass

비교를 위해 default 값을 넣었습니다

inline_serializer를 사용하면, 일반적인 APIView를 사용해도 request 값을 정할 수 있습니다.

6. responses

responses를 사용하여 api의 response를 정할 수 있습니다.
dictionary형태로 status_code: response 형태로 적용합니다.
그러나 중복된 status_code의 여러 가지 형태의 response는 보여줄 수 없습니다.

class TistoryView(GenericAPIView):
    serializer_class = TistorySerializer

    @extend_schema(
        request=None,
        responses={
            200: TistorySerializer,
            400: None
        }
    )
    def post(self, request, *args, **kwargs):
        pass

7. examples

examples를 사용하여 API의 예시를 추가할 수 있습니다.
OpenAPiExaple을 사용하여 넣을 수 있습니다.
parameters, requests에도 사용이 가능하나 필자는 response를 사용한 예시를 보여드리겠습니다.

name: 키값(중복된 값이 있을시, 마지막으로 정의된 값으로 고정됩니다)
summary: 선택 목록에 보일 내용
value: response value
status_code: response에서 고정될 status_code
response_only: response에만 들어갈 내용인지

class TistoryView(GenericAPIView):
    serializer_class = TistorySerializer

    @extend_schema(
        request=None,
        responses={
            200: TistorySerializer,
            400: OpenApiTypes.OBJECT
        },
        examples=[
            OpenApiExample(
                name="400(1)",
                summary="400(1)",
                value={
                    "message": "400(1)",
                },
                status_codes=["400"],
                response_only=True
            ),
            OpenApiExample(
                name="400(2)",
                summary="400(2)",
                value={
                    "message": "400(2)",
                },
                status_codes=["400"],
                response_only=True
            ),
        ]
    )
    def post(self, request, *args, **kwargs):
        pass

주의할 사항으로는 responses에서 400의 값이 None이라면 examples가 적용되지 않으므로 OpenApiTypes.OBJECT를 넣었습니다.
어떤 값이든 들어가면 됩니다.

추가 팁 (파일 업로드)

실패 사례

먼저 일반적으로 사용되는 FileField drf-spectacular에서 적용되지 않습니다.

class TistoryView(APIView):
    @extend_schema(
        request=inline_serializer(
            name="upload example",
            fields={
                "file": serializers.FileField(),
            },
        )
    )
    def post(self, request, *args, **kwargs):
        pass

성공사례

spectacular settings에 COMPONENT_SPLIT_REQUEST: True와
APIView에 parser_classes를 추가하면 파일 업로드가 가능해집니다.

settings.py

SPECTACULAR_SETTINGS = {
    ...
    'COMPONENT_SPLIT_REQUEST': True
}

views.py

class TistoryView(APIView):
    parser_classes = (MultiPartParser,)
    @extend_schema(
        request=inline_serializer(
            name="upload example",
            fields={
                "file": serializers.FileField(),
            },
        )
    )
    def post(self, request, *args, **kwargs):
        pass

파일 선택하는 버튼이 생성되었습니다

poetry를 사용한 파이썬 dependency관리

친구들안녕 — Tue, 27 Sep 2022 10:30:12 +0900

서론

poetry가 1.2 버전으로 업데이트하면서 기존의 main, dev 이외의 group을 추가하여
dependency가 관리가 가능해졌습니다.

그에 대하여 간단한 명령어 및 사용 결과를 서술하는 페이지입니다.

본론

poetry==1.2.1 기준입니다.

명령어

1. init

poetry init 첫 시작은 init을 사용하여, name, version등 프로젝트 정보를 적고 dependencies를 추가합니다.

2. add

poetry add library 일반적으로 library를 설치하기 위해서는 이 명령어를 사용합니다.
자동으로 main dependencies[tool.poetry.dependencies]에 속합니다
poetry add library -G group
library를 설치하되 group dependencies에 속합니다. poetry add django -G test를 입력하면 [tool.poetry.group.test.dependencies] 에 속하게 됩니다.

3. remove

poetry remove library 모든 dependencies에 있는 library를 지웁니다.
poetry remove library -G group group에 속한 library를 지웁니다.

4. install

poetry config virtualenvs.create false virtualenv 미 생성 명령어로 Dockerfile에 필수로 추가해야하는 명령어입니다. 미 입력 시,
poetry run manage.py 와 같은 형태로 파이썬 스크립트를 실행해야 합니다.
poetry install poetry에 설정된 libarary를 모두 설치합니다.
poetry install —with group 명시한 group dependencies를 포함하여 설치합니다.
poetry install —without group 명시한 group dependencies를 제외하여 설치합니다.
poetry install --only main,group 명시한 group dependencies를 포함하여 설치하나 —only는 main도 제외하기 때문에 주의해야 합니다.

예시

pyproject.toml

예시로 설치할 pyproject.toml 파일입니다.

main은 django와 pyscopg2

test는 coverage, pytest

dev는 django-debug-toolbar

worker 는 celery를 설치할 예정입니다.

[tool.poetry]
name = "tistory"
version = "0.1.0"
description = ""
authors = ["Your Name <you@example.com>"]
readme = "README.md"

[tool.poetry.dependencies]
python = "^3.10"
Django = "^4.1.1"
psycopg2 = "^2.9.3"


[tool.poetry.group.test.dependencies]
coverage = "^6.4.4"
pytest = "^7.1.3"


[tool.poetry.group.dev.dependencies]
django-debug-toolbar = "^3.7.0"


[tool.poetry.group.worker.dependencies]
celery = "^5.2.7"

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"

web

poetry install

먼저 기본적인 install입니다.

group 관계 없이 모두 설치가 되었습니다.

test

poetry install --with test

다음은 with을 사용한 test 설치입니다.

기본적으로 install은 전체 설치이기 때문에 with을 추가해도 위와 동일한 걸 알 수 있습니다.

dev

poetry install --without test,worker

without으로 test, worker을 뺀 dev입니다.

celery, coverage와 그 dependency들이 빠진걸 확인할 수 있습니다.

worker

poetry install --only worker

only를 사용하여 worker만 설치한 결과입니다.

web, test, dev 제외한 celery와 dependency만 설치된걸 알 수 있습니다.

only는 기본 dependency인 main까지 무시하므로 only를 사용할땐 주의해야 합니다.

Django서버에 간단한 HTTPS Let's Encrypt 적용하기

친구들안녕 — Sat, 30 Jul 2022 21:46:29 +0900

서론

웹 서비스에 기본적으로 들어가는 https는 nginx 설정, ssl 발급, 키파일 적용까지
필자에게는 너무 복잡하고 어려운 일이었다.

그러나 아래 레퍼런스의 튜토리얼을 보고 간단하게 ssl 적용하는 내용을 기억할 겸 다시 적어보는 내용이다.

그리고 튜토리얼 답게 정말 간단하게 사용이 가능하다.

글로만 설명 해보면

1. docker-compose로 nginx-proxy, acme-companion(let's encrypt) 연결

2. 환경변수를 통한 도메인 ssl 적용

그리고 인증서의 만료는 3개월이나

자동으로 인증서를 체킹 하여, 갱신해준다 (필자가 직접 3개월 동안 뒀더니 자동으로 갱신되었다.)

주의사항

docker container를 사용하여 무료 ssl인 let's encrypt를 적용하는 내용입니다.
레퍼런스 그대로 따라가면서 최신 docker image를 사용한 내용이라 레퍼런스와 조금 다를 수 있습니다

본론

해야 할 내용

1. docker-compose로 nginx-proxy와 acme-companion(let's encrypt) 연결

nginx-proxy와 acme-companion(let's encrypt)를 볼륨으로 연결

2. 도메인 준비

당연하지만 ssl을 적용하려면 도메인이 필요하다.
도메인은 환경변수에 적용하면 됩니다.

3. 환경변수

let's encrypt에 적용될 도메인 host와

nginx에 적용될 port 정보가 필요하므로 env 파일을 만들어 적용한다.

이하 파일의 환경변수는 필자의 프로젝트에 썼던 파일들입니다.

docker-compose.prod.yml

certs, vhost, html, docker.sock을 volume으로 nginx와 let's encrypt 연결

version: '3.8'
services:
  ###########################
  web:
    container_name: web
    build:
      context: ./company_review
      dockerfile: Dockerfile/Dockerfile.prod
    command: gunicorn config.wsgi:application --bind 0.0.0.0:8000
    ports:
      - 8000
    env_file:
      - ./.env/.env.prod
    volumes:
      - static:/usr/src/company_review/static
      - media:/usr/src/company_review/media
  ###########################
  redis:
    image: redis:6.2.6-alpine
    ports:
      - 6379:6379
    volumes:
      - redis_data:/etc/redis_data/data
    depends_on:
      - web
  ###########################
  nginx-proxy:
    container_name: nginx-proxy
    restart: always
    build:
      context: nginx
    ports:
      - 80:80
      - 443:443
    volumes:
      - certs:/etc/nginx/certs
      - vhost:/etc/nginx/vhost.d
      - html:/usr/share/nginx/html
      - /var/run/docker.sock:/tmp/docker.sock:ro
      - static:/usr/src/company_review/static
      - media:/usr/src/company_review/media
    depends_on:
      - web
  ###########################
  nginx-proxy-acme:
    container_name: nginx-proxy-acme
    image: nginxproxy/acme-companion
    volumes:
      - certs:/etc/nginx/certs
      - vhost:/etc/nginx/vhost.d
      - html:/usr/share/nginx/html
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - acme:/etc/acme.sh
    env_file:
      - ./.env/.env.prod.nginx_acme
    depends_on:
      - nginx-proxy
  ###########################
volumes:
  redis_data:
  certs:
  vhost:
  html:
  acme:
  static:
  media:

.env.prod

VIRTUAL_HOST와 VIRTUAL_PORT로 nginx에 적용할 호스트를 적고,

LETSENCRYPT_HOST로 let's encrypt에 적용할 도메인을 정의해준다.

다른 env는 django에 사용되는 env이므로 설정하지 않아도 된다.

DEBUG=False
STAGE=PROD
DJANGO_SETTINGS_MODULE=config.settings.prod
VIRTUAL_HOST=mixedprogramming.net
VIRTUAL_PORT=8000
LETSENCRYPT_HOST=mixedprogramming.net

.env.prod.nginx_acme

nginx-proxy와 acme-companion(let's encrypt) 연결을 위한 컨테이너 명 지정

email은 ssl 적용 후 만료 알람 등 이메일 보내는 용도

DEFAULT_EMAIL=skarndrkd1@naver.com
NGINX_PROXY_CONTAINER=nginx-proxy

let's encrypt 인증에는 시간당 횟수 제한이 있으므로 테스트 환경에서는 아래의 staging letsencrypt를 추가하여 사용하도록 하자

ACME_CA_URI=https://acme-staging-v02.api.letsencrypt.org/directory

이후 적용된 nginx / default.conf

아래 코드를 보면 단순 env 설정만으로 도메인, 포트 연결이 된 걸 알 수 있다.

당연하겠지만 ssl도 적용이 완료되었다.

#default.conf

...
# 생략
# mixedprogramming.net
upstream mixedprogramming.net {
	## Can be connected with "job-search-and-company-review_default" network
	# web
	server 172.18.0.3:8000;
}
server {
	server_name mixedprogramming.net;
	listen 80 ;
	access_log /var/log/nginx/access.log vhost;
	# Do not HTTPS redirect Let'sEncrypt ACME challenge
	location ^~ /.well-known/acme-challenge/ {
		auth_basic off;
		auth_request off;
		allow all;
		root /usr/share/nginx/html;
		try_files $uri =404;
		break;
	}
	location / {
		return 301 https://$host$request_uri;
	}
}
server {
	server_name mixedprogramming.net;
	listen 443 ssl http2 ;
	access_log /var/log/nginx/access.log vhost;
	ssl_session_timeout 5m;
	ssl_session_cache shared:SSL:50m;
	ssl_session_tickets off;
	ssl_certificate /etc/nginx/certs/mixedprogramming.net.crt;
	ssl_certificate_key /etc/nginx/certs/mixedprogramming.net.key;
	ssl_dhparam /etc/nginx/certs/mixedprogramming.net.dhparam.pem;
	ssl_stapling on;
	ssl_stapling_verify on;
	ssl_trusted_certificate /etc/nginx/certs/mixedprogramming.net.chain.pem;
	add_header Strict-Transport-Security "max-age=31536000" always;
	include /etc/nginx/vhost.d/default;
	location / {
		proxy_pass http://mixedprogramming.net;
	}
}

Reference

Django on Docker Series:

Dockerizing Django with Postgres, Gunicorn, and Nginx

This tutorial details how to configure Django to run on Docker along with Postgres, Nginx, and Gunicorn.

testdriven.io

Securing a Containerized Django Application with Let's Encrypt

In this tutorial, we'll look at how to secure a containerized Django app running behind an HTTPS Nginx proxy with Let's Encrypt SSL certificates.

testdriven.io

Deploying Django to AWS with Docker and Let's Encrypt

In this tutorial, we'll deploy a Django app to AWS EC2 with Docker and Let's Encrypt.

testdriven.io

python apple, google ID TOKEN 검증기

친구들안녕 — Sat, 5 Mar 2022 18:19:51 +0900

서론

프로젝트 진행 중 구글, 애플에서 발급되는 ID token 검증을 할 일이 있어, 야매 적용해보고 정리하기 위한 글입니다.

더 좋은 방법이 있을 수 있으므로 더 찾아보고 적용해보는 걸 추천드립니다.

다른 곳에서 발급된 토큰으로 검증을 하지는 못 하였으므로 검증해 보는 걸 추천드립니다.

회사 프로젝트간 소셜(네이버, 카카오, 구글, 애플) 회원가입, 로그인을 만드는 중에 소셜로 오는 토큰은 무조건 access token으로 소셜에 대하여 직접 검증 및 데이터를 받을 줄 알았다.

그러나 프론트에서 넘어오는 토큰 값은 네이버, 카카오는 예상하는 대로 access token이 넘어왔으나

구글 애플은 id_token이라는 생소한 토큰이 넘어왔다.

이것저것 검색 해보니 jwt와 같이 토큰 안에 유저 데이터가 있는 형태였다.

그래서 토큰을 열어보면 어디에서 발급됐는지, 어떤 유저인지는 나오는데 어떻게 검증을 해야 할지를 알아봐야 했다.

본론

Goole ID token 검증

구글은 매우 간단하다.

먼저 google-auth를 설치한다.

$ pip install google-auth

그리고 아래의 코드를 써주면 검증과 토큰에 대한 정보가 넘어온다.

from google.oauth2 import id_token
from google.auth.transport import requests

token_val = id_token.verify_oauth2_token(
    {token},
    requests.Request(),
    audience={audience}), # optional
)

또는 아래와 같이단순히 id token request 요청으로 가능도 하다.

그러나 audience를 포함한 검증은 불가능하다.

requests.get("https://oauth2.googleapis.com/tokeninfo?id_token={token}")

Apple ID token 검증

검증하는 내용을 보면 애플은 https://appleid.apple.com/auth/keys 이 곳의 키 값들을 가지고 토큰의 kid 일치 및 알고리즘 검증으로 토큰 검증을 한다고 한다.

~~apple의 토큰 검증은 딱히 라이브러리는 찾지는 못했지만, 검증 코드를 만들어져 있는 게 있어서 그 코드를 사용했다.~~

~~소스코드는 아래 참조에 있으나 참조의 검증과정은 막히는 부분이 있어 약간의 커스텀을 하였다.~~

~~물론 필자의 코드는 로 검증 성공할때까지 시도하는 로직이라 비효율적인 로직이다.~~

~~더 나은 로직도 참조에 있으니 그 내용으로 사용하면 될듯하다.~~

미리 key dictionary로 매칭하는 조금은 더 효율적인 방법으로 변경하였다.

import jwt
import requests
import json
from jwt.algorithms import RSAAlgorithm
from rest_framework import exceptions

APPLE_PUBLIC_KEY_URL = "https://appleid.apple.com/auth/keys"


def _fetch_apple_public_key(unverified_header):
    key_payload = requests.get(APPLE_PUBLIC_KEY_URL).json()
    keys = key_payload["keys"]

    for key in keys:
        if key["kid"] == unverified_header["kid"]:
            return RSAAlgorithm.from_jwk(json.dumps(key))


def _decode_apple_user_token(apple_user_token):
    unverified_header = jwt.get_unverified_header(apple_user_token)
    public_key = _fetch_apple_public_key(unverified_header)
    try:
        token = jwt.decode(
            apple_user_token,
            public_key,
            algorithms="RS256",
        )
        return token
    except Exception:
        raise exceptions.AuthenticationFailed

Reference

google

https://stackoverflow.com/questions/359472/how-can-i-verify-a-google-authentication-api-access-token

https://google-auth.readthedocs.io/en/stable/reference/google.oauth2.id_token.html#google.oauth2.id_token.verify_oauth2_token

apple

현재 사용중
https://gist.github.com/davidhariri/b053787aabc9a8a9cc0893244e1549fe

더 나은 로직
https://gist.github.com/davidhariri/b053787aabc9a8a9cc0893244e1549fe?permalink_comment_id=3374998#gistcomment-3374998

Docker-compose에서 localhost 사용하기

친구들안녕 — Mon, 2 Aug 2021 14:50:29 +0900

서론

개인 프로젝트 간 애로사항 및 해결 내용을 정리한 페이지입니다.

본론

Docker를 사용하여 서비스를 연결할 때 localhost를 사용하지 못하는 상황이 벌어진다.
필자는 꽤나 여기저기 찾았으나 결론은 매우 간단했다.
각 서비스 부분에 extra_hosts를 넣으면 된다.

memcached: image: memcached ports: - "11211:11211" extra_hosts: - host.docker.internal:host-gateway

이렇게 extra_hosts에 host.docker.internal:host-gateway를 넣고
localhost 사용할 부분에 host.docker.internal을 넣으면 된다.

Reference

https://stackoverflow.com/questions/24319662/from-inside-of-a-docker-container-how-do-i-connect-to-the-localhost-of-the-mach

From inside of a Docker container, how do I connect to the localhost of the machine?

So I have a Nginx running inside a docker container, I have a mysql running on localhost, I want to connect to the MySql from within my Nginx. The MySql is running on localhost and not exposing a p...

stackoverflow.com

Windows 포트 잠김 해결법

친구들안녕 — Mon, 2 Aug 2021 14:07:50 +0900

서론

개인 프로젝트 도중 잘 되던 서비스 실행이 port가 막혀서 정리 겸 쓰는 페이지입니다.

본론

아래의 명령어로 잠긴 포트들을 확인할 수 있다.
잘 쓰던 포트가 왜 잠기는지는 의문점이지만
Window NAT(winnat) 드라이버로 인해 생기는 문제라고 한다.
netsh int ip show excludedportrange protocol=tcp

표기되는 port는 사용자마다 다릅니다

잠금 해제는 cmd창에서

net stop winnat
docker start ...
net start winnat

winnat을 중지 후 다시 시작하면 포트 잠김 해제 성공!

Reference

https://stackoverflow.com/questions/54010365/how-to-see-what-is-reserving-ephemeral-port-ranges-on-windows

How to see what is reserving ephemeral port ranges on Windows?

I have a Windows application that needs to use ports 50005 and 50006 but it is being blocked. I see the following when I run netsh int ip show excludedportrange protocol=tcp: Protocol tcp Port

stackoverflow.com

django.core.exceptions.SuspiciousFileOperation: Detected path traversal attempt

친구들안녕 — Mon, 2 Aug 2021 13:59:13 +0900

서론

이 글은 Django FileField upload_to Custom 야매 적용기 와 연관된 페이지입니다.
찾으시는 내용이 없을 수 있습니다.

Django FileField upload_to Custom 야매 적용기

서론 필자의 개인 프로젝트 간 사용했던 내용을 저장 및 정리 용도로 쓰는 페이지입니다. 찾으시는 내용이 없을 수 있습니다. Crawler -> Crwaler 오타가 있습니다. FileField upload_to Custom 먼저 filefield의

mixedprograming.tistory.com

본론

이전 글의 upload to Custom을 야매로 적용 후 Docker ec2환경에서 적용을 하려고 했더니 제목과 같은 에러가 떴다.

upload_to를 적용하면 대충 /project3/media/~~~/~~~/~~~.png 이렇게 적용되는데
일단 에러 내용을 읽어보면 경로 부분에서 뭔가 에러가 발생했다고 한다.

이에 대한 에러를 찾아보면 경로가 잘못됐다니 경로가 png 확장자까지 들어가야 한다니 이런 말이 있었는데
다 안됐고 비슷한 내용이 있는 사이트를 찾았다

https://code.djangoproject.com/ticket/32718

#32718 (Saving a FileField raises SuspiciousFileOperation in some scenarios.) – Django

#32718 closed Bug (fixed) Saving a FileField raises SuspiciousFileOperation in some scenarios. Reported by: Jakub Kleň Owned by: Mariusz Felisiak Component: Database layer (models, ORM) Version: 2.2 Severity: Release blocker Keywords: 3.2.1 file model fil

code.djangoproject.com

위의 사이트에서 일부 글을 가져와보면

I believe an absolute path outside of Media Root should fail, that is correct (in my opinion) - as an absolute path might be able to write shell scripts around the file system...
It should however, work for a relative file path.

bad_file.name = "/etc/init.d/nameofscript.sh"
# or
bad_file.name = "../../../../../usr/local/lib/bad.file"

절대 경로를 작성하게 되면 외부에서 셸 스크립트라던지 리눅스 내부의 key 파일들을 탐색할 수 있다고 한다.
그러니까 맞는 경로로는 맨 앞의 ' / '를 지우는 것이 이 글의 해결 방법이었다.

/project3/media/~~~/~~~/~~~.png 가 아닌
project3/media/~~~/~~~/~~~.png 이렇게 해야 정상적으로 저장이 가능하다.

Django queryset distinct and sort

친구들안녕 — Mon, 2 Aug 2021 09:35:25 +0900

서론

기본적으로 Django의 정렬은 order_by로 시작하면 된다. 참조

그러나 필자의 상황은 이름 중복을 제거하면서 날짜 정렬를 해야하는 상황이었다.

그러나 django docs를 보면 distinct를 사용하려면 order_by가 같이 들어가는 상황이었다.

>>> Entry.objects.order_by('author', 'pub_date').distinct('author')

이렇게 사용하면 author, pub_date순서로 정렬되므로 날짜순서로 order_by가 불가능해진다.

그래서 중복 제거 후 따로 정렬하는 방법을 찾았다.

본론

중복제거를 한 후 python operator 라이브러리로 created_at을 얻어 정렬해주는 방법을 찾았다.

queryset = CrwalingModel.objects.order_by('enter_name').distinct('enter_name')
queryset = sorted(queryset, key=operator.attrgetter('created_at'), reverse=True)

Reference

https://stackoverflow.com/questions/2412770/good-ways-to-sort-a-queryset-django

Good ways to sort a queryset? - Django

what I'm trying to do is this: get the 30 Authors with highest score ( Author.objects.order_by('-score')[:30] ) order the authors by last_name Any suggestions?

stackoverflow.com

Django FileField upload_to Custom 야매 적용기

친구들안녕 — Mon, 12 Jul 2021 13:06:23 +0900

서론

필자의 개인 프로젝트 간 사용했던 내용을 저장 및 정리 용도로 쓰는 페이지입니다.

찾으시는 내용이 없을 수 있습니다.

Crawler -> Crwaler 오타가 있습니다.

FileField upload_to Custom

먼저 filefield의 upload_to 페이지를 보자.

기본적으로 upload_to는 아래와 같이 model 딴에서 간단하게 사용이 가능하다.

class MyModel(models.Model):
    # file will be uploaded to MEDIA_ROOT/uploads
    upload = models.FileField(upload_to='uploads/')
    # or...
    # file will be saved to MEDIA_ROOT/uploads/2015/01/30
    upload = models.FileField(upload_to='uploads/%Y/%m/%d/')

그러나 필자의 상황으로는 이렇다.

각 회사는 Crawler Model 생성 시 Crwaler Model의 왜래키를 가지고 나머지는 빈 값으로 자동 생성된다.

각 회사의 사진들을 하나의 모델에서 받기 위해 한 개의 Cralwer Photos에 각 회사의 외래키를 때려 박았다.

각 회사의 사진을 저장하기 위해서는 다르게 적용되는 upload path가 필요하다.

이해를 돕기 위한 Model 코드 더보기(Custom이 완성된 코드입니다)

class CrwalingModel(TimeModel):
    enter_name = models.CharField(max_length=50)

    def __str__(self):
        return self.enter_name

    class Meta:
        ordering = ['created_at']


class CrwalingBaseModel(models.Model):
    enter = models.OneToOneField(CrwalingModel, on_delete=models.CASCADE)
    company_code = models.CharField(max_length=1000, blank=True)
    location = models.CharField(max_length=50, blank=True)
    url = models.SlugField(max_length=1000, blank=True)
    upload_to_path = models.CharField(max_length=2000, blank=True)


    def __str__(self):
        return self.enter.enter_name

    class Meta:
        abstract = True


@receiver(post_save, sender=CrwalingModel)
def create_Post(sender, instance, created, **kwargs):
    if created:
        if instance not in ['SaraminInfo', 'JobKoreaInfo', 'JobPlanetInfo', 'KreditJobInfo']:
            SaraminInfo.objects.create(enter=instance)
            JobKoreaInfo.objects.create(enter=instance)
            JobPlanetInfo.objects.create(enter=instance)
            KreditJobInfo.objects.create(enter=instance)


class SaraminInfo(CrwalingBaseModel):
    # name = models.CharField(max_length=7, default='saramin')
    pass


class JobKoreaInfo(CrwalingBaseModel):
    # name = models.CharField(max_length=8, default='jobkorea')
    pass


class JobPlanetInfo(CrwalingBaseModel):
    # name = models.CharField(max_length=9, default='jobplanet')
    pass


class KreditJobInfo(CrwalingBaseModel):
    # name = models.CharField(max_length=9, default='kreditjob')
    pass

# 경로: 회사이름 -> 크롤링회사 -> 코드 -> 날짜
# 이미지이름: 회사이름_회사코드_기타내용.png
def crwaling_photo_path(instance, filename):
    if instance.jobkorea_info:
        return '{0}/{1}'.format(instance.jobkorea_info.upload_to_path, filename)
    elif instance.saramin_info:
        return '{0}/{1}'.format(instance.saramin_info.upload_to_path, filename)
    elif instance.jobplanet_info:
        return '{0}/{1}'.format(instance.jobplanet_info.upload_to_path, filename)
    elif instance.kreditjob_info:
        return '{0}/{1}'.format(instance.kreditjob_info.upload_to_path, filename)

class CrwalingPhotos(TimeModel):
    photo = models.ImageField(upload_to=crwaling_photo_path, max_length=1000)
    saramin_info = models.ForeignKey(SaraminInfo, on_delete=models.RESTRICT, blank=True, null=True)
    jobkorea_info = models.ForeignKey(JobKoreaInfo, on_delete=models.RESTRICT, blank=True, null=True)
    jobplanet_info = models.ForeignKey(JobPlanetInfo, on_delete=models.RESTRICT, blank=True, null=True)
    kreditjob_info = models.ForeignKey(KreditJobInfo, on_delete=models.RESTRICT, blank=True, null=True)

그럼 과연 django에는 upload_to를 어떻게 커스텀해서 적용할까?

이하 django filefield 예시

def user_directory_path(instance, filename):
    # file will be uploaded to MEDIA_ROOT/user_<id>/<filename>
    return 'user_{0}/{1}'.format(instance.user.id, filename)

위와 같이 instance와 filename가 넘어오는데 instance는 model에서 생성된 instance 내용물들을 말한다

그래서 그 내용물의 필드들, 왜래키의 필드들에 접근할 수 있다.

그러면 살짝 바꿔서 테스트해보자

def user_directory_path(instance, filename):
    # file will be uploaded to MEDIA_ROOT/user_<id>/<filename>
    return 'user_{0}/%Y/%m/%d/{1}'.format(instance.user.id, filename)

이 코드의 결과로는 날짜가 들어가지 않고 %Y/%m/%d가 문자열로 들어간다.

그러므로 time 라이브러리로 직접 넣어줘야 날짜가 들어간다.

time을 따로 적용해야 하는 걸 알았으니 직접 적용해보자

필자는 path를 따로 만들어 db에 저장 후, db path를 이미지에 적용하도록 했다.

또한 Crawler Model 생성 시 각 회사가 자동 생성되므로 그 회사에 해당하는 코드를 넣었다.

path = os.path.join(BASE_DIR) + '/media/search_job/' + company_name + '/jobkorea/' + time.strftime(
            "/%Y/%m/%d/")
jobkorea = JobKoreaInfo.objects.get(enter=self.enter)
jobkorea.company_code = company_code
jobkorea.upload_to_path = path
jobkorea.save()
CrwalingPhotos.objects.create(jobkorea_info=jobkorea, photo=image)

회사에 대한 upload_path를 생성 후, CrawlerPhotos의 Custom Upload Path를 만들어보자

def crwaling_photo_path(instance, filename):
    if instance.jobkorea_info:
        return '{0}/{1}'.format(instance.jobkorea_info.upload_to_path, filename)
    elif instance.saramin_info:
        return '{0}/{1}'.format(instance.saramin_info.upload_to_path, filename)
    elif instance.jobplanet_info:
        return '{0}/{1}'.format(instance.jobplanet_info.upload_to_path, filename)
    elif instance.kreditjob_info:
        return '{0}/{1}'.format(instance.kreditjob_info.upload_to_path, filename)

class CrwalingPhotos(TimeModel):
    photo = models.ImageField(upload_to=crwaling_photo_path, max_length=1000)
    saramin_info = models.ForeignKey(SaraminInfo, on_delete=models.RESTRICT, blank=True, null=True)
    jobkorea_info = models.ForeignKey(JobKoreaInfo, on_delete=models.RESTRICT, blank=True, null=True)
    jobplanet_info = models.ForeignKey(JobPlanetInfo, on_delete=models.RESTRICT, blank=True, null=True)
    kreditjob_info = models.ForeignKey(KreditJobInfo, on_delete=models.RESTRICT, blank=True, null=True)

한 번의 Crawlerphoto당 한 개의 회사, 한 개의 photo만 들어갈 것이므로(나머지 회사는 null)

crawling_photo_path에 조건문으로 instance.~~~_info가 생성되었다면 그 데이터에서 저장된 path를 불러와

upload_path와 filename을 적용하도록 만들었다.(참고로 filename은 db 저장하는 곳에서 적용한다.)

결론

필자의 코드를 바탕으로 설명하느라 좀 길어졌는데

간단하게 줄이자면 upload_to에는 생성된 instance와 filename이 넘어오는데

필자의 경우는 path를 직접 db에 넣어서 그 경로를 불러와서 file 저장 path로 쓰는 방식을 사용했다.

다른 경우가 있나 잠깐 찾아봤지만 다른 방법이 안보이길래 이런 야매 방식으로 업로드 경로를 지정했다.